Auditing LLM-mediated interpretation through source-to-claim documentation

인문학과 사회과학에서 연구자들은 오랫동안 단순하지만 강력한 아이디어에 의존해 왔습니다. 만약 어떤 결론에 어떻게 도달했는지 이해하고 싶다면, 원래의 증거로부터 최종적인 주장까지 이르는 경로를 추적할 수 있어야 한다는 것입니다. 이 경로는 흔히 '감사 추적(audit trail)'이라고 불립니다. 이는 결정된 사항, 기록된 노트, 그리고 따라간 단계들을 기록한 것으로, 다른 학자가 동일한 자료를 보고 그 해석이 어떻게 구축되었는지 확인할 수 있도록 보장합니다. 수십 년 동안 이 과정은 인간 대 인간의 방식으로 이루어졌으며, 연구자가 텍스트를 읽고, 구절을 강조하고, 분석을 작성하는 방식이었습니다. 하지만 이제 새로운 도구가 등장했습니다. 바로 생성형 인공지능입니다. 이 시스템들은 텍스트를 읽고 즉각적으로 유창한 문단으로 요약하거나 해석할 수 있습니다. 문제는 이 속도가 숨겨진 비용을 동반한다는 점입니다. AI는 매끄럽고 세련된 문장을 만들어내지만, 이는 기계 내부에서 일어난 변형의 복잡한 과정을 은폐합니다. 독자는 최종적인 주장은 볼 수 있지만, 기계가 어떻게 원래의 단어를 그 특정 결론으로 바꾸었는지는 볼 수 없습니다. 설상가상으로, 이러한 AI 시스템은 기업이 소유한 서버에서 호스팅되기 때문에 연구자들이 나중에 정확히 똑같은 계산을 다시 실행하는 것이 불가능합니다. 소프트웨어가 변경될 수도 있고, 같은 질문에 대해 다음번에는 약간 다른 답을 내놓을 수도 있습니다. 이는 감사 추적에 간극을 만들어, 증거와 주장 사이의 연결 고리를 취약하고 검증하기 어렵게 만듭니다.

이를 해결하기 위해 미네소타 대학교와 조지아 공과대학교의 연구팀은 '소스-투-클레임(source-to-claim) 문서화'라고 불리는 새로운 작업 방식을 제 제안했습니다. 단순히 "AI를 사용했다"라고 말하는 대신, 그들은 하나의 증거가 어떻게 분석적 주장으로 변했는지를 보여주는 완전하고 연결된 기록의 사슬을 유지할 것을 제안합니다. 이 프레임워크는 단순히 사용된 도구만을 나열하는 것이 아니라, 생성된 모든 텍스트 조각의 구체적인 여정을 보존합니다. 연구진은 이 아이디어를 통제된 실험에서 테스트했는데, 실험을 위해 12개의 간단한 문장을 소스 자료로 만들었습니다. 그들은 두 가지 버전의 AI 모델에게 이 문장들을 다시 쓰고, 그에 대한 짧은 해석적 노트를 작성하도록 요청했습니다. 목표는 어떤 AI가 더 똑똑한지를 보는 것이 아니라, 새로운 문서화 방법이 간과될 수 있는 오류를 잡아낼 수 있는지 확인하는 것이었습니다. 그들은 AI가 겉보기에는 무해해 보이는 미묘하지만 중요한 변화를 자주 만든다는 것을 발견했습니다. 예를 들어, 원문 문장이 한 여성이 친구에게 노트를 "빌려주었다(lent)"라고 했을 때, AI는 이를 반복적으로 "주었다(gave)"라고 다시 썼습니다. 현실 세계에서 "빌려주다"는 물건이 반환될 것을 의미하지만, "주다"는 영구적인 소유권을 의미합니다. AI는 이 교체를 매번 수행했으며, 올바르게 들리지만 실제로는 원래 증거의 의미를 바꾼 동일하고 유창한 문장들을 만들어냈습니다.

새로운 방법의 힘은 연구자들이 최종 텍스트보다 더 깊이 들여다보았을 때 명확해졌습니다. 그들은 AI에게 재작성된 텍스트와 함께 문장의 의미를 구조화된 지도로 만들도록 요청하는 단계를 도입했습니다. 이 지도는 단어 사이의 관계를 보여주는 청사진 역할을 했습니다. 연구진이 이 청사진을 원래 문장과 비교했을 때, 오류가 눈에 띄었습니다. 최종 단락은 "주었다"라고 했음에도 불구하고, 지도는 여전히 동작을 "빌려주다"로 나타내고 있었습니다. 이는 AI가 유창한 산문 속에 성공적으로 은폐한 일관된 실수를 저질렀음을 드러냈습니다. 또한 연구진은 AI가 해석적 노트를 작성할 때, 출처를 직접 인용해야 함에도 불구하고 사람의 동기 등을 추측하는 등 원래 텍스트에 없는 아이디어를 추가하기도 한다는 것을 발견했습니다. 원래 문장, AI의 가공되지 않은 출력물, 구조화된 지도, 그리고 인간의 검토를 하나의 아카이브에 모두 연결하여 유지함으로써, 연구자들은 어디에서 의미가 변했는지 정확히 파악할 수 있었습니다. 그들은 단순히 두 번의 AI 실행이 동일한 답을 내놓는지 확인하는 것만으로는 충분하지 않다는 것을 발견했는데, 왜냐하면 AI는 둘 다 틀렸더라도 자기 자신과 일치하는 답을 낼 수 있기 때문입니다.

이 연구에는 AI의 작업을 검토하는 8명의 인간 독자가 참여했습니다. 이 독자들은 AI가 재작성한 문장들이 원래 문장과 매우 유사해 보일 때가 많지만, 의미 있는 방식으로 의미를 자주 바꾼다는 점을 확인했습니다. 대출과 관련된 한 구체적인 사례에서, 독자들은 "빌려주다"를 "주다"로 바꾼 것이 절반 이상의 평가에서 중대한 왜곡이라고 식별했습니다. 연구진은 또한 이 방법이 AI 시스템 자체의 변화를 처리할 수 있는지 테스트했습니다. 그들은 몇 달의 간격을 두고 서로 다른 두 버전의 AI 모델로 실험을 진행했습니다. 모델이 다르더라도, 이 문서화 방법 덕분에 그들은 주장의 이력을 추적하고 증거가 각 경우에 어떻게 변형되었는지 확인할 수 있었습니다. 핵심적인 발견은 이 프레임워크가 '증거의 경로'를 성공적으로 보존했다는 점입니다. 이는 후속 연구자가 최종 주장을 보고, 이를 원본 AI 출력물로 연결하여 추적한 다음, 구조화된 지도를 확인하여 의미가 보존되었는지 확인할 수 있게 해주었습니다. 이 과정은 연구자가 AI를 신뢰하거나 최종 텍ק스트가 완벽하다고 믿을 것을 요구하는 것이 아니라, 단지 텍스트가 만들어진 전체 기록을 갖추는 것을 요구했습니다.

이 접근 방식은 연구자들이 자신의 작업을 검증할 수 있는 능력을 잃지 않으면서 AI를 사용하고자 하는 이들에게 실질적인 방향을 제시합니다. 연구진은 문서화의 양이 주장의 중요도와 일치해야 한다고 제안합니다. 개인적인 메모나 수업용 연습의 경우, 소스와 프롬프트에 대한 간단한 기록만으로도 충분할 수 있습니다. 그러나 출판된 논문이나 타인이 사용할 데이터셋의 경우, 원본 출력물, 구조화된 점검, 그리고 인간의 검토를 포함한 전체 증거 사슬을 저장해야 합니다. 이것이 모든 문장에 대해 전체 감사를 수행해야 한다는 뜻은 아니지만, AI의 해석에 의존하는 주장이 있을 때, 원래의 단어로부터 그 주장으로 이어지는 경로는 반드시 가시적이어야 한다는 것을 의미합니다. 연구는 이러한 가시성이 없다면 유창한 산문이 쉽게 오류를 숨길 수 있으며, AI 실행 간의 반복적인 일치가 잘못된 보안감을 줄 수 있음을 보여주었습니다. 소스, 기계, 그리고 인간 검토자 사이의 연결 고리를 온전하게 유지함으로써, 연구자들은 자신들의 결론이 조사되고, 의심받고, 뒤따르는 누구에게나 이해될 수 있는 토대 위에 구축되도록 보장할 수 있습니다.