당신이 거대한, 고액의 상금이 걸린 인재 발굴 쇼의 심사위원이라고 상상해 보세요. 이 쇼의 참가자들은 'AI'라고 불리는 매우 똑똑한 컴퓨터 프로그램들입니다. 이 AI들은 재무 보고서, 과학 논문, 설명서와 같이 두껍고 지루하며 복잡한 문서들을 읽고 그 내용에 관한 질문에 답할 수 있음을 증명하려 합니다. 이 세계가 바로 **문서 질의응답(Document QA)**의 세계입니다. 이 무대의 목표는 간단합니다. AI가 긴 PDF를 읽고, 질문에 답하는 것입니다. 만약 정답을 맞히면 점수를 얻습니다. 만약 틀리거나, 문서에 정보가 없는데도 답을 지어내면(환각 현상) 점수를 잃게 됩니다.

왜 우리가 이것에 관심을 가질까요? AI가 점점 더 똑똑해짐에 따라, 그들은 마치 바빠 보이기 위해 아무 답이나 던지는 과신에 찬 학생처럼 행동하기 시작했기 때문입니다. 우리는 그들이 실제로 읽고 있는지, 아니면 그저 *환각(hallucinating, 내용을 지어내는 것)*을 일으키고 있는 것인지 테스트할 방법이 필요합니다. 이를 위해 과학자들은 MMLongBench-Doc이라는 거대한 시험을 만들었습니다. 이것은 135개의 서로 다른 문서에 퍼져 있는 1,000개 이상의 질문들로 구성된 최종 시험과 같습니다. 하지만, 이 새로운 논문이 밝혀낸 바에 따르면, 이 시험 자체에 심각한 결함이 있어 성적이 불공정하게 매겨졌습니다.

결함이 있는 시험: 채점자가 문제일 때

원래의 시험(MMLongBench-Doc)을 정확한 철자 일치만을 찾는 빨간 펜을 든 엄격하고 구식인 선생님이라고 생각해 보세요. 만약 정답이 "1,358,000"인데 AI가 쉼표 없이 "1358000"이라고 적었다면, 선생님은 틀렸다고 표시합니다. 만약 정답이 "Operating Activities"인데 AI가 "Operations activities"라고 적었다면, 선생님은 틀렸다고 표시합니다. 이는 마치 수학 선생님이 학생이 "12" 대신 "12.0"이라고 썼다고 해서 틀렸다고 처리하는 것과 같습니다. 실제로는 맞는 숫자임에도 말이죠.

더 심각한 것은, 선생님의 정답지가 때때로 틀렸다는 점입니다. 예를 들어, "5페이지에 파란색 화살표가 몇 개 있습니까?"라는 질문이 있다고 가정해 봅시다. 정답지는 "0(Zero)"입니다. 그런데 페이지를 직접 보니 실제로 파란색 화살표가 하나도 없다면, "0"은 정답입니다. 하지만 때때로 정답지가 실제 문서에 화살표가 있음에도 "0"이라고 했거나, 질문이 너무 혼란스럽게 작성되어 사람조차 답을 할 수 없는 경우도 있었습니다. 가장 최악인 것은, 이러한 실수들이 어려운 질문들에 집중되어 있었다는 점입니다. 즉, 가장 똑똑한 AI들이 가장 많이 벌점을 받았고, 무작ful하게 찍는 멍청한 AI들은 별로 영향을 받지 않았습니다. 이는 마치 가장 빠른 달리기 선수들에게는 납 신발을 채워 무게를 늘리고, 느릿느릿 걷는 사람들에게는 그러지 않은 경주와 같았습니다.

해결책: MMLongBench-Doc-V2

새로운 논문인 MMLongBench-Doc-V2가 등장했습니다. 저자인 Mingtian Zhang은 기존의 테스트를 버리는 대신, 이를 수정하기로 했습니다. 그는 원래의 테스트를 엉망인 초안으로 취급하고 세 가지 주요 조치를 통해 이를 깔끔하게 정리했습니다.

1. 새로운 채점자: "의미" 탐정
두 텍스트 문자열이 똑같이 생겼는지 확인하는 로봇 대신, 그들은 "의미 탐정"(특수한 AI 판사)을 고용했습니다. 이 탐정은 쉼표, 대문자, 또는 추가 공백에는 신경 쓰지 않습니다. 대신 AI의 답변을 보고 "이것이 정답과 같은 의미인가?"를 묻습니다.

• 비유: 만약 정답이 "The cat is sleeping(고양이가 자고 있다)"이고, AI가 "A feline is napping(고양잇과 동물이 낮잠을 자고 있다)"이라고 했다면, 예전의 채점자는 이를 틀렸다고 했을 것입니다. 하지만 새로운 탐정은 의미가 같기 때문에 통과시켜 줍니다.
• 주의 사항: 이 탐정은 원본 문서를 절대 보지 않습니다. 오직 AI의 답변과 정답지를 비교할 뿐입니다. 이는 탐정이 PDF의 나쁜 스캔 상태나 누락된 텍스트 때문에 혼란을 겪는 것을 방지합니다.

2. 정답지 수정 (106개의 수정 사항)
저자는 시험을 검토하면서 정답지가 틀렸거나, 질문이 망가졌거나, 문서와 질문이 일치하지 않는 106개의 질문을 찾아냈습니다.

• "잘못된 파일" 문제: 질문은 테스트 폴더에 있지도 않은 문서에 대해 묻고 있는 10개의 질문을 발견했습니다! 이는 마치 학생에게 해리 포터를 건네주면서 "해리 포터 5장에는 무엇이 있습니까?"라고 묻는 것과 같습니다. 아무도 답할 수 없었기에, 그 질문들을 아예 삭제했습니다.
• "부호" 오류: 한 사례에서는 정답지가 숫자가 60.3% 상승했다고 했지만, 문서는 숫자가 하락했음을 보여주었습니다. 저자는 부호를 수정했습니다.
• "모호함" 해결: 어떤 질문들은 너무 모호했습니다. 만약 문서에 "단기 부채"와 "장기 부채"가 따로 기재되어 있는데, 질문이 어떤 것을 더해야 하는지 명시하지 않고 "총 부채"를 물었다면, 저자는 질문을 매우 구체적으로 다시 썼습니다.

3. "공집합(Empty Set)"의 딜레마
이 부분이 가장 까다로운 부분입니다. 어떤 질문들은 "이 재무 보고서에 드래곤이 몇 마리 있습니까?"라고 묻습니다. 답은 당연히 0입니다. 하지만 원래의 테스트에서는 어떤 "0" 답변들은 "답변 불가(Not Answerable)"(정보가 없음)로 표시되었고, 다른 "0" 답변들은 "0"(확인 결과 없음)으로 표시되었습니다.

• 규칙: 저자는 엄격한 규칙을 만들었습니다: 만약 문서가 존재하고 당신이 그 대상이 없다는 것을 증명할 수 있다면, 답은 0입니다. 만약 문서의 페이지가 통째로 빠져 있거나, 셀 수 없는 것(예: "우주의 모든 별")에 대해 묻는 질문이라면 **답변 불가(Not Answerable)**입니다.
• 결과: 저자는 "0" 답변들이 공정하도록 14개의 질문을 조정했습니다. 이는 AI가 실제 정답이 "없음(None)"일 때 "모름"을 정답이라고 착각하게 만드는 함정을 방지합니다.

최종 스코어보드

모든 정리를 마친 후, 새로운 테스트(V2)는 134개의 문서에 걸쳐 1,071개의 질문을 갖게 되었습니다 (기존 1,082개 질문, 135개 문서에서 감소).

• 큰 변화: 이 새로운 테스트의 점수는 이전 점수와 비교할 수 없습니다. "작년에 44.9%였고 올해 50%이니 성능이 향상되었다"라고 말할 수 없습니다. 테스트 자체가 바뀌었으므로, 숫자의 척도가 다릅니다.
• 좋은 소식: 새로운 테스트는 AI가 정말 똑똑한지 아니면 운이 좋은 것인지를 판단하는 더 공정한 척도를 제공합니다. 똑똑한 모델들을 혼란스럽게 했던 "함정 질문"들을 제거했습니다.
• 주의 사항: 저자는 모든 질문을 하나하나 다 검사하지는 않았다고 인정했습니다. 그들은 똑똑한 AI들이 틀렸던 부분, 즉 오류가 숨어있을 가능성이 가장 높은 곳에 집중했습니다. 여전히 테스트에 몇 가지 실수가 남아 있을 수 있지만, 이전보다는 훨씬 적습니다.

이것이 왜 중요한가

이 논문은 새로운 슈퍼 AI를 발명하는 것에 관한 것이 아닙니다. 그것들을 측정하는 데 사용하는 '자(ruler)'를 고치는 것에 관한 것입니다. 만약 당신이 법률 계약서나 의료 보고서를 읽는 로봇을 만들고 있다면, 그 로봇이 실제로 읽고 있는지 아니면 그냥 추측하고 있는지를 알아야 합니다. MMLongBench-Doc-V2는 우리에게 더 깨끗하고 정직한 척도를 제공합니다. 이는 AI가 질문에 답을 맞혔을 때, 그것이 문서를 이해했기 때문인지 아니면 단순히 쉼표의 개수를 잘 맞춘 것 때문인지를 확실히 해줍니다.

저자는 모든 수정 사항, 새로운 테스트 데이터, 그리고 답변을 채점하는 도구를 모두가 사용할 수 있도록 공개했습니다. 이는 과학에서 때때로 가장 중요한 작업은 엔진을 만드는 것이 아니라, 우리가 실제로 얼마나 빨리 가고 있는지 알 수 있도록 속도계를 고치는 것이라는 사실을 상기시켜 줍니다.