완전한 답변을 향한 탐구

당신이 로봇에게 유능한 비서가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 로봇이 거짓말을 하지 않기를 바라는 것이 아니라, 진정으로 유용하기를 원합니다. 인공지능의 세계에서 이것은 **정밀도(precision)**와 **재현율(recall)**의 차이입니다. 정밀도를 엄격한 선생님이라고 생각해 보세요. 이 선생님은 당신이 틀린 것을 썼을 때만 빨간색 "X"를 줍니다. 만약 당신이 "하늘은 초록색이다"라고 말하면 선생님은 틀렸다고 표시합니다. 하지만 당신이 "하늘은 파랗다"라고 말하면, 설령 당신이 하늘이 흰 구름과 함께 파랗다는 점이나 해 질 녘에 색이 변한다는 사실을 언급하는 것을 잊었더라도 선생님은 금메달을 줍니다. 이것이 바로 정밀도입니다. 즉, 당신이 말한 내용이 사실인지 확인하는 것입니다.

이제 재현율을 다른 종류의 선생님이라고 생각해 보세요. 이 선생님은 "하늘에 대해 알고 있는 것을 전부 말했니?"라고 묻습니다. 만약 당신이 단지 "하늘은 파랗다"라고만 말했다면, 이 선생님은 "그건 맞지만, 구름과 노을에 대한 언급이 빠졌구나. 전체적인 그림을 보여주지 못했어"라고 말할 것입니다. 오랫동안 AI 연구자들은 첫 번째 선생님(정밀도)에는 능숙했습니다. 즉, 로봇이 가짜 사실을 지어내는(환각 현상) 것을 방지하는 데는 뛰어났습니다. 하지만 그들은 두 번째 선생님(재현율)을 다루는 데는 어려움을 겪어 왔습니다. 그들은 특히 답이 단순한 사실의 목록이 아니라 단계, 관계, 개방형 세부 사항이 포함된 복잡한 이야기일 때, 로봇의 답변이 완전한지 측정할 좋은 방법을 갖지 못했습니다. 이 논문은 바로 이 간극을 파고들며 다음과 같이 질문합니다. "AI를 단순히 맞았는지뿐만 아니라, 얼마나 철저했는지로 어떻게 평가할 것인가?"

GAMUT의 등장: "무엇을 놓쳤니?" 테스트

Meta AI의 연구진은 GAMUT(Grounded Assessment of Multimodal Factuality)라는 새로운 벤치마크를 구축했습니다. GAMUT을 아주 도전적인 퀴즈 게임이라고 생각하세요. 이 게임은 AI가 단순히 사실을 나열하는 수준을 넘어 "심층 연구자"가 될 수 있는지를 테스트하도록 설계되었습니다.

설정은 이렇습니다. 당신이 스마트 안경을 쓰고 있다고 상상해 보세요. 당신은 제과점에서 이상하고 결이 살아있는 페이스트리를 보거나, 생소한 자동차 엔진, 혹은 특정 종류의 식물을 보고 있습니다. 당신은 안경에 "이것은 무엇이며, 어떻게 만들어지나요?"라고 묻습니다. AI는 사진을 보고, 인터넷을 돌아다니며, 여러 출처에서 정보를 캐내어, 길고 상세한 답변을 작성해야 합니다.

기존 테스트의 문제는 답변을 단순한 체크리스트처럼 취급했다는 점입니다. "쌀을 언급했나?" 예. "토마토를 언급했나?" 예. "통과!" 이런 식이었죠. 하지만 실제 삶은 평면적인 목록이 아닙니다. 때로는 단계의 순서를 알아야 합니다(쌀을 씻기 전에 볶을 수는 없으니까요). 때로는 많은 유효한 재료가 존재하며, 세상의 모든 재료를 다 말할 필요는 없지만 도움이 될 만큼 충분히 이름을 대야 할 때도 있습니다. 때로는 어떤 일이 왜 발생하는지 설명하기 위해 두 사실을 서로 연결해야 합니다. 단순한 "예/아니오" 방식의 체크리스트는 이러한 뉘앙스를 포착하지 못합니다.

두 단계의 마법
이를 해결하기 위해 저자들은 **이단계 메타 루브릭(Two-Level Meta-Rubric)**이라 부르는 영리한 2단계 채점 시스템을 고안했습니다.

1. 1단계: 마스터 플랜 (메타 루브릭). 먼저, 인간 전문가(스마트한 AI의 도움을 받은)가 완벽한 답변이 갖춰야 할 상세한 "마스터 플랜"을 만듭니다. 이 플랜은 단순한 목록이 아니라 구조화된 지도입니다. 예를 들어, "이 질문에 대해서는 반드시 요리를 식별해야 함(필수). 핵심 재료를 반드시 나열해야 함(필수). 선택적인 향신료 중 최소 2개는 언급해야 함(유연함). 그리고 조리 단계를 정확한 순서대로 설명해야 함(과정)"과 같은 식입니다. 이 단계는 좋은 답변이 갖는 복잡하고 미묘한 현실을 담아냅니다.
2. 2단계: 체크리스트 (이진 루브릭). 여기서 기술이 들어갑니다. 컴퓨터는 그 복잡한 마스터 플랜을 로봇 판독기가 쉽게 채점할 수 있도록 길고 평면적인 "합격/불합격" 질문 목록으로 기계적으로 변환합니다. "선택적 향료를 충분히 다뤄야 한다"는 문장은 "이 6가지 특정 향료 중 최소 2개를 언급했는가?"라는 구체적인 확인 절차로 바뀝니다. "순서대로 단계를 설명하라"는 문장은 " '볶기'를 '졸이기'보다 먼저 언급했는가?"라는 확인 절차로 바뀝니다.

이렇게 하면 인간은 풍부하고 미묘한 테스트를 설계할 수 있고, 채점은 로봇이 단순한 상자에 체크하는 방식으로 이루어져 훨씬 더 신뢰할 수 있고 일관된 결과를 얻을 수 있습니다. (로봇에게 답변이 "어떻게 느껴지는지" 추측하게 하는 것보다 훨씬 효과적입니다.)

게임: 1,813개의 질문과 실제 이미지

연구팀은 1,813개의 질문을 포함하는 GAMUT이라는 거대한 데이터셋을 구축했습니다. 이 질문들은 지어낸 것이 아니라, 스마트 안경을 착용한 사람들이 찍은 실제 사진을 기반으로 합니다. 사진에는 일상적인 것들이 담겨 있습니다. 특정 종류의 신발, 지역 명소, 희귀한 채소, 혹은 자동차 부품 등입니다. 질문들은 "일상적인 심층 연구"가 되도록 설계되었습니다. 즉, 호기로운 사람이 무언가를 보면서 실제로 물어볼 법한 질문이지만, 완전히 답변하기 위해서는 인터넷을 깊이 뒤져야 하는 내용들입니다.

그들은 14개의 서로 다른 AI 모델(거대 IT 기업의 고가 모델과 오픈 소스 모델 모두 포함)을 이 벤치마크로 테스트했습니다. 결과는 놀라웠습니다.

연구 결과:

• 매우 어렵다. 가장 똑똑한 모델인 Gemini 3.1 Pro조차 점수가 **58.7%**에 불-과했습니다. 이는 고등학교 졸업 성적보다도 낮은 수준입니다! 이는 세계 최고의 AI라도 여전히 정보의 상당 부분을 놓치고 있음을 의미합니다.
• 누락인가, 오류인가. 가장 큰 문제는 AI가 거짓말을 하는 것(사실을 부정하는 것)이 아니었습니다. 가장 큰 문제는 **누락(omission)**이었습니다. 모델들은 중요한 세부 사항을 건너뛰고 있었습니다. 마치 선생님이 책 한 권을 읽어오라고 했는데 짧은 에세이만 써온 학생 같았습니다. 그들은 주요 사실은 맞혔지만(정밀도), 전체 이야기를 들려주지는 못했습니다(완전성).
• 시각의 "세금". 연구진은 사진 없이(텍수만으로) 모델들을 테스트했습니다. 그렇게 했을 때, 모든 모델의 점수가 약 10~20점 정도 상승했습니다. 이는 난이도의 일부가 사물을 정확히 "보는" 데서 온다는 것을 보여줍니다. 하지만 시각 부분을 제거한 후에도 모델들의 지식에는 여전히 공백이 있었습니다. 모델들의 순위는 그대로 유지되었는데, 이는 이 테스트가 단순히 얼마나 잘 보느냐가 아니라 AI가 얼마나 "알고 있느냐"를 실제로 측정하고 있음을 증명합니다.
• 강건성(Robustness). 연구진은 세 가지 서로 다른 "판사" AI를 사용하여 결과를 테스트했습니다. 채점을 누가 하든 순위는 동일하게 유지되었으며, 이는 이 테스트가 공정하고 신뢰할 수 있음을 의미합니다.

이것이 왜 중요한가

이 논문은 단순히 "AI가 좋아지고 있다"고 말하는 것이 아닙니다. "AI가 실제로 유용한지를 측정하는 새로운 방법"을 제시하고 있습니다. 단순히 "이 사실이 참인가?"라는 확인을 넘어 "주제를 전체적으로 다루었는가?"라는 확인으로 나아감으로써, GAMUT은 최첨단 모델들조차 여전히 숲을 보지 못하고 나무만 보고 있다는 점을 드러냅니다. 그들은 어떤 사실이 참이라고 말할 수는 있지만, 종종 전체 이야기를 들려주는 것을 잊어버립니다.

저자들은 AI가 우리 일상생활에서(요리를 돕거나, 물건을 고치거나, 세상에 대해 배우는 등) 진정한 비서가 되기 위해서는 **사실적 완전성(factual completeness)**을 숙달해야 한다고 제안합니다. GAMUT은 그 진척도를 측정할 수 있는 자를 제공하며, 현재 그 자가 보여주는 수치는 우리가 갈 길이 멀다는 것을 나타냅니다. 최고의 모델들도 겨우 60% 정도의 단계에 와 있으며, 이는 다음 세대의 AI가 어떻게 하면 정말로 철저해질 수 있는지 배울 수 있는 넓은 가능성이 남아 있음을 의미합니다.