Detection and Interpretability Analysis of Quotation Errors by Large Language Models

당신이 거대하고 북적이는 과학 지식의 도서관에 있는 사서라고 상상해 보세요. 매일 학자들은 새로운 책(연구 논문)을 쓰고, 자신의 주장을 뒷받침하기 위해 오래된 책(인용 문헌)을 가리킵니다. 보통 그들은 "저자 X가 그의 책에서 말했듯이, 하늘은 푸르다"라고 말합니다.

하지만 때때로 학자들이 실수를 하기도 합니다. 예를 들어, 저자 X가 결코 그렇게 말한 적이 없는데도 "저자 X는 하늘이 초록색이라고 말했다"라고 말하는 식입니다. 또는 저자 X가 무언가를 증명했다고 말하지만, 사실 저자 X는 정반대의 말을 했을 수도 있습니다. 이것이 바로 이 논문에서 말하는 **"인용 오류(quotation error)"**입니다. 이는 마치 메시지가 왜곡되어 전달되는 '전화기 놀이(telephone game)'와 같으며, 학계에 혼란과 불공정한 판단을 초래합니다.

문제는 책도 너무 많고 학자도 너무 많아서 인간이 모든 인용구를 일일이 수동으로 확인할 수 없다는 점입니다. 그러려면 시간이 너무 오래 걸릴 것입니다! 그래서 이 논문의 저자들은 다음과 같이 질문했습니다: "우리가 똑똑한 컴퓨터(거대 언어 모델 또는 LLM)에게 이러한 거짓말과 실수를 자동으로 찾아내도록 가르칠 수 있을까?"

이들은 컴퓨터를 가르치는 방법을 다음과 같은 쉬운 비유를 통해 설명했습니다.

1. "학교 교육(Schooling)" vs "매뉴얼 읽기(Reading the Manual)" 방식

연구진은 컴퓨터를 가르치는 두 가지 방법을 테스트했습니다:

• "매뉴얼 읽기" 방식 (프롬프팅): 컴퓨터에게 "여기에 인용구와 원문 책이 있다. 이 인용구가 맞는지 알려달라"와 같은 구체적인 지시 사항(프롬프트)을 주는 것입니다. 그들은 서로 다른 버전의 컴퓨터에게 단순히 지시 사항을 읽는 것만으로 이 문제를 해결하도록 요청하며 이를 시도했습니다.
• "학교 교육" 방식 (파인튜닝/미세 조정): 단순히 지시를 내리는 대신, 사전 훈련된 컴퓨터를 데려와 특별한 "부트 캠프(파인튜닝)"를 실시했습니다. 이들은 올바른 인용구와 잘못된 인용구의 수천 가지 사례를 컴퓨터에 입력하여, 컴퓨터가 패턴을 깊이 있게 학습하고 특정 작업의 전문가가 되도록 내부적인 "두뇌"를 조정했습니다.

결과: "학교 교육" 방식이 훨씬 더 효과적이었습니다. 이는 글을 읽을 줄 아는 학생에게 단순한 지시를 주는 대신 전문적인 시험 대비 과정을 제공한 것과 같았습니다. 그 학생은 단순히 지시 사항을 읽을 때보다 특정 오류를 찾아내는 데 훨씬 더 뛰어난 능력을 보였습니다.

2. "초록(Abstract)" vs "전체 본문(Full Book)"의 딜레마

인용구를 확인할 때, 책 전체를 읽어야 할까요, 아니면 요약본(초록)만으로 충분할까요?

• 초록(Abstract): 책의 뒷표지를 읽는 것과 같습니다. 핵심 아이디어를 제공합니다.
• 전체 본문(Full Text): 모든 장(chapter)을 하나하나 읽는 것입니다.

연구진은 컴퓨터에게 "전체 본문"을 제공하는 세 가지 방법을 시도했습니다:

1. "관련 구절(Relevant Snippet)" 방식: 책 전체를 스캔한 뒤, 인용구와 가장 비슷하게 들리는 10개의 문장만을 골라냅니다.
2. "출처 요약(Source Summary)" 방식: 책 전체를 스캔한 뒤, 책의 *요약(초록)*과 가장 비슷하게 들리는 10개의 문장을 골라냅니다.
3. "덤프(Dump)" 방식: 그냥 책 전체를 컴퓨터의 메모리에 통째로 집어넣습니다.

결과: 놀랍게도 "출처 요약" 방식이 가장 효과적이었습니다. 이는 책의 핵심 주제와 잘 어울리는 관련 문장들을 찾아내는 완벽한 "치트 시트(족보)"를 찾는 것과 같았습니다. 책 전체를 쏟아붓거나(너무 많은 정보) 무작별로 구절을 뽑는 것보다, 책의 핵심 메시지를 가장 잘 반영하는 문장을 선택하는 것이 더 효과적이었습니다.

3. 답변의 "이유" (해석 가능성)

컴퓨터가 "이 인용구는 틀렸다"라고 말할 때, 우리는 그 이유를 알아야 합니다. 컴퓨터가 그냥 추측한 것일까요, 아니면 특정 단어를 본 것일까요?
연구진은 TokenSHAP이라는 도구를 사용했습니다. 이것은 컴퓨터의 뇌를 위한 형광펜이라고 생각하면 됩니다.

• 이 도구는 인용구와 원문에 포함된 모든 단어(토큰)를 살펴봅니다.
• 만약 어떤 단어가 컴퓨터가 인용구가 틀렸다고 결정하는 데 도움이 되었다면 빨간색으로 표시합니다.
• 만약 어떤 단어가 컴퓨터가 인용구가 맞다고 생각하게 하거나 혼란을 주었다면 파란색으로 표시합니다.

결과: 이를 통해 "학교 교육(파인튜닝)"을 받은 컴퓨터가 실제로 올바른 것들을 보고 있다는 사실이 드러났습니다. 이 컴퓨터는 훈련되지 않은 컴퓨터가 놓치는 미묘한 모순(예: "증가" vs "감소")을 포착했습니다. 훈련되지 않은 컴퓨터는 단순히 비슷한 단어(예: "하늘"과 "푸른")를 보고 "참(True)"이라고 추측했지만, 훈련된 컴퓨터는 논리가 깨졌음을 파악했습니다.

4. 컴퓨터가 여전히 실수하는 부분

"학교 교육"을 거쳤음에도 불구하고 컴퓨터는 완벽하지 않습니다. 연구진은 컴퓨터가 여전히 실수를 하는 네 가지 주요 이유를 발견했습니다:

• 배경 지식 부족: 인용구가 누구나 아는 사실(예: "영국의 인구 규모")에 의존하고 있지만 책에 명시적으로 언급되어 있지 않을 경우, 컴퓨터는 혼란을 느낍니다.
• 수학적 문제: 인용구가 단위(예: "75 nmol" vs "75 micromol")를 변경할 때, 컴퓨터는 종종 그 차이를 놓칩니다.
• 큰 숫자 vs 작은 숫자: "가장 큰 증가량"과 "가장 큰 전체 수"를 혼동하기도 합니다.
• 조건 누락: 문장 전체의 의미를 바꾸는 아주 작은 "만약(if)"이나 "오직(only)" 같은 조건을 놓칠 수 있습니다.

결론

이 논문은 본질적으로 더 나은 "인용 경찰(Quote Police)"을 만드는 방법에 대한 가이드입니다. 연구진은 다음을 발견했습니다:

1. 이 작업에 맞춰 AI를 구체적으로 훈련시키는 것이 단순히 정중하게 요청하는 것보다 효과적입니다.
2. 전체 텍스트의 적절한 부분(특히 책의 메인 테마와 일치하는 문장들)을 제공하는 것이 요약본이나 책 전체를 읽는 것보다 진실을 더 잘 보게 해줍니다.
3. 우리는 AI가 왜 그런 결정을 내렸는지 알 수 있으며, 이를 통해 AI를 더 신뢰하고 실수를 바로잡을 수 있습니다.

목표는 인간 학자를 대체하는 것이 아니라, 학계에 "전화기 놀이"와 같은 오류가 퍼지기 전에 이를 잡아낼 수 있는 강력한 도구를 제공하는 것입니다.