Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics

다음은 학술적 전문 용어를 일상 언어로 번역하고 창의적인 비유를 사용하여 논문의 내용을 설명한 것입니다.

핵심 아이디어: "우리를 속일 수 있는가?"라고 묻는 것을 멈추고 "배울 수 있는가?"라고 물어보세요

요리 경연 대회를 심사한다고 상상해 보세요. 지난 70년 동안 황금 표준은 튜링 테스트였습니다. 이 테스트에서 심사관은 채팅 창을 통해 인간과 기계와 대화합니다. 심사관이 어느 쪽이 인간이고 어느 쪽이 기계인지 구별할 수 없다면, 기계는 "합격"합니다.

이 논문의 저자들은 이것이 마치 셰프의 가짜 플라스틱 과일이 눈가리개를 한 시식자를 속일 만큼 진짜처럼 보이는지에만 초점을 맞춰 셰프를 평가하는 것과 같다고 주장합니다. 이는 실제 기술이 아닌 모방에 관한 것입니다. 로봇이 인간 대화를 모방할 수 있다고 해서 그것이 실제로 자신이 말하는 것을 이해한다는 의미는 아닙니다. 그것은 단지 매우 뛰어난 앵무새일 뿐일 수 있습니다.

저자들은 AI를 평가하는 새로운 방법을 제안합니다. *"이 기계가 인간을 가장할 수 있는가?"*라고 묻는 대신, *"이 기계가 유아처럼 처음부터 언어를 배울 수 있는가?"*라고 물어야 한다고 합니다.

핵심 비유: 유아 대 도서관

ChatGPT와 같은 현재의 대규모 언어 모델(LLM)을 거대한 도서관이라고 생각해 보세요. 이 모델들은 지금까지 쓰인 거의 모든 책을 읽었습니다. 질문을 하면, 이 모델들은 답을 반드시 "이해"하는 것이 아니라, 도서관에 있는 모든 것을 바탕으로 당신이 말한 단어 뒤에 통계적으로 어떤 단어가 따라올지 예측할 뿐입니다.

저자들은 AI를 말을 배우는 유아처럼 테스트하기를 원합니다.

• 구식 방식 (튜링 테스트): 유아에게 대본을 주고 설득력 있게 암송할 수 있는지 확인합니다.
• 신식 방식 (언어 습득): 유아를 선생님이 있는 방에 넣습니다. 책, 인터넷, 사전 로드된 데이터는 모두 제공하지 않습니다. 선생님이 컵을 가리키며 "컵"이라고 말합니다. 아이는 세상을 바라보고, 질문을 하고, 실수를 하며 "컵"이 무엇을 의미하는지 스스로 파악해야 합니다.

이 논문은 진정한 지능이 모든 답을 사전에 로드해 두는 것이 아니라, 경험으로부터 이해를 습득하는 능력에 있다고 주장합니다.

"소량 데이터(Small Data)"가 중요한 이유

이 논문은 **"소량 데이터"**라는 개념을 강조합니다.

• 대량 데이터 (현재의 AI): 다른 사람들이 자전거를 타는 영상을 1,000만 시간 동안 시청함으로써 자전거 타는 법을 배운다고 상상해 보세요. 이론은 알 수 있지만, 균형을 느껴본 적은 없습니다.
• 소량 데이터 (인간 같은 AI): 실제로 자전거에 올라타고, 넘어지고, 다시 시도함으로써 자전거 타는 법을 배운다고 상상해 보세요. 몇 가지 구체적이고 의미 있는 경험으로부터 배웁니다.

저자들은 인간 어린이들이 현실에 뿌리를 두고 있기 때문에 비교적 적은 예시("소량 데이터")로부터 언어를 배운다고 주장합니다. 그들은 물체를 보고, 질감을 느끼며, 사회적 단서를 봅니다. 현재의 AI는 취약합니다. 거대한 학습 데이터에서 본 적이 없는 것에 직면하면 쉽게 무너집니다. 진정한 지능을 가진 시스템은 인간처럼 매우 적은 정보로도 새로운 상황에 빠르게 적응할 수 있어야 합니다.

제안된 "새로운 테스트"

저자들은 이 새로운 테스트를 위한 구체적인 프레임워크를 제시합니다. 실제 적용 시 다음과 같이 보일 것입니다.

1. 백지 상태: AI는 언어나 환경에 대한 사전 로드된 지식 없이 시작합니다.
2. 교사: 인간(또는 다른 에이전트)이 AI와 상호작용하며 구두 지시를 줍니다.
3. 과제: AI는 실시간으로 배우고 있는 언어만 사용하여 주변 환경을 설명하고, 명확성을 위해 질문하며, 목표를 달성해야 합니다(예: 물체 찾기 또는 퍼즐 해결).
4. 제2외국어 도전: AI가 첫 번째 언어를 마스터한 후, 단순히 패턴을 암기하는 것이 아니라 언어의 개념을 실제로 이해한다는 것을 증명하기 위해 완전히 다른 두 번째 언어(희귀하거나 기록되지 않은 언어일 수 있음)를 배워야 합니다.
5. 엄격한 조건: 테스트는 외부 신호를 차단하는 "패러데이 케이지"와 같은 통제된 환경에서 진행되어, AI가 온라인에서 답을 찾아내어 부정행위를 하지 않도록 보장합니다.

테스트의 주요 요구 사항

이 테스트가 공정하고 과학적이도록 하기 위해 저자들은 몇 가지 규칙을 나열합니다.

• 재현성: 다른 과학자들이 동일한 테스트를 실행하여 유사한 결과를 얻을 수 있어야 합니다.
• 투명성: 모든 상호작용, 실수, 성공이 기록되어야 합니다.
• "클레버 한스(Clever Hans)" 트릭 금지: 역사상 클레버 한스라는 말은 수학을 하는 것처럼 보였지만, 실제로는 주인으로부터의 미세한 신체 언어 단서를 읽고 있었습니다. 테스트는 AI가 우연히 심사관에게서 단서를 얻는 것이 아니라 실제로 이해하고 있는지 확인해야 합니다.
• 웰빙: 테스트는 AI가 단순히 생존하는 것이 아니라 "번영"하거나 잘 적응하는지도 측정해야 합니다.

더 큰 그림: 생존을 위한 도구로서의 언어

이 논문은 생물학과 철학을 바탕으로 언어가 단순한 코드가 아니라 생존 도구라고 주장합니다. 인간은 협력하고 생존하기 위해 언어를 발전시켰습니다. 따라서 진정한 언어 습득 능력을 갖춘 AI는 환경과 연결되고, 사회적 상호작용이 가능하며, 변화에 적응할 수 있는 더 깊은 형태의 지능을 보여줍니다.

요약

간단히 말해, 저자들은 다음과 같이 말합니다.
AI가 인공적인 본성을 얼마나 잘 숨기는지 테스트하는 것을 멈추세요. 대신, 아이처럼 주변 세상을 얼마나 잘 배우고, 적응하며, 이해하는지 테스트하세요.

저자들은 우리의 초점을 모방(인간처럼 보이는 것)에서 습득(인간처럼 배우는 것)으로 전환한다면, 기계가 진정한 지능을 가졌다는 것이 무엇을 의미하는지에 대해 훨씬 더 좋고, 정직하며, 유용한 측정 기준을 얻을 수 있다고 믿습니다.