Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict?

당신이 로봇에게 인간처럼 책을 읽는 법을 가르치려 한다고 상상해 보십시오. 당신은 로봇이 어떤 문장이 "좋은 부분"인지 알아내어 당신을 위해 하이라이트(강조 표시)를 할 수 있기를 바랍니다. 이것은 인공지능의 세계, 특히 "정보 검색(Information Retrieval)" 또는 "자연어 처리(Natural Language Processing)"라고 불리는 분야에서 매우 큰 도전 과제입니다. 핵심 질문은 단순히 "로봇이 맞출 수 있는가?"가 아니라, "얼마나 잘할 수 있는가?"입니다.

이 질문에 답하기 위해 과학자들에게는 두 가지가 필요합니다. 바로 **바닥(Floor)**과 **천장(Ceiling)**입니다. 바닥은 가장 최악의, 가장 멍청한 추측입니다. 예를 들어 사람들이 보통 읽기 시작하는 곳이라는 이유만으로 페이지의 앞부분 몇 문장을 하이라이트 하는 것과 같습니다. 천장은 이론적인 완벽함의 한계입니다. 이는 마법 같은 능력이 있더라도 도달할 수 없는 최선의 점수를 나타내는데, 왜냐하면 인간 독자들은 서로 무엇이 "좋은지"에 대해 의견이 일치하지 않기 때문입니다. 만약 로봇의 점수가 100점이라 하더라도, 인간들이 80%의 확률로만 서로 동의한다면, 천장은 100보다 낮아집니다.

이 논문은 특정 작업, 즉 일반 대중이 웹 기사에서 어떤 문장을 하이라이트 할지 예측하는 데 대한 바닥과 천장을 찾아내는 탐정 이야기입니다. 연구진은 알고 싶었습니다. "우리의 가장 똑똑한 AI 모델들이 인간의 완벽함에 근접해 있는가, 아니면 여전히 어둠 속에서 비틀거리고 있는가? 그리고 만약 아직 도달하지 못했다면, 그들에게 더 가까워질 수 있는 가장 저렴하고 쉬운 방법은 무엇인가?"

위대한 하이라이트 강탈 사건 (The Great Highlighting Heist)

연구진은 120개의 실제 웹 기사를 사용하여 대규모 실험을 설계했습니다. 그들은 보수를 받지 않는 훈련되지 않은 독자들이 자신의 즐거움을 위해 어떻게 문장을 하이라이트 했는지 살펴보았습니다. 그런 다음, 다양한 AI 모델이 그 하이라이트를 얼마나 잘 예측하는지 확인하기 위한 점수판을 만들었습니다.

먼저, 그들은 바닥을 설정했습니다. 그들은 가장 멍청한 전략을 시도했습니다. 바로 상단의 문장들(리드문)을 하이라이트 하는 것이었습니다. 놀랍게도 이 단순한 기술은 꽤 잘 작동하여 0.2410을 기록했습니다. 이는 대부분의 기사가 가장 중요한 정보를 앞부분에 배치하기 때문에 타당한 결과입니다.

다음으로, 그들은 천장을 구축했습니다. 그들은 독자 집단을 절반으로 나누었습니다. 그리고 다음과 같이 물었습니다. "만약 집단의 절반이 나머지 절반이 무엇을 하이라이트 할지 예측하려고 노력한다면, 얼마나 잘할 수 있을까?" 이것이 누군가가 할 수 있는 최선의 결과입니다. 왜냐하면 인간은 무질서하며 항상 의견이 일치하는 것은 아니라는 점을 고려했기 때문입니다. 천장 점수는 0.4437이었습니다.

바닥(0.2410)과 천장(0.4437) 사이의 차이는 "헤드룸(Headroom)", 즉 AI가 실제로 개선될 수 있는 공간입니다. 이 간격은 0.2028입니다. 큰 질문은 이것이었습니다. "현재의 AI가 이 간격을 얼마나 채울 수 있는가?"

결과: AI는 절반 정도 성공했다

연구진은 세계에서 가장 진보된 다섯 가지 AI 모델(프런티어 모델)을 테스트했습니다. 그들은 최고의 단일 모델이 간격의 약 **53%**만을 채울 수 있다는 것을 발견했습니다. 즉, 이 작업은 대략 절반 정도 해결된 상태입니다. AI는 멍청한 "첫 문장" 추측보다는 훨씬 뛰어나지만, 대중의 집단 지성을 따라잡기에는 아직 갈 길이 멉니다.

여기서 흥ًا로운 점이 발생합니다. 연구진은 왜 AI가 더 잘하지 못하는지 알아내기 위해 노력했습니다.

• 단순히 위치의 문제인가? 그들은 단순한 컴퓨터 프로그램이 문장의 위치와 길이에 기반해서만 추측하도록 가르쳐 보았습니다. 그 프로그램은 간격의 단 **5%**만을 회복했습니다. 이는 빠진 조각이 단순히 "어디에" 위치하느냐의 문제가 아니라, 문장이 실제로 "무엇을" 말하고 있는지(의미론/semantics)에 관한 것임을 증명합니다.
• 텍스트 압축의 문제인가? 그들은 텍스트를 축소하기 위해 설계된 정교한 도구(LLMLingua-2)를 사용하여 하이라이트를 찾을 수 있는지 테스트했습니다. 이 도구는 처참하게 실패했으며, 멍청한 "첫 문장" 추측보다도 낮은 점수를 기록했습니다. 이는 텍스트를 요약하거나 압축하는 것이 AI가 무엇을 흥미롭게 느끼는지 이해하는 데 도움이 되지 않음을 의미합니다.

"퓨전(Fusion)"의 마법

그렇다면 하나의 똑똑한 AI로 충분하지 않다면, 다섯 개의 서로 다른 AI에게 물어본다면 어떨까요?

연구진은 **퓨전(Fusion)**을 만들었습니다. 그들은 다섯 가지 최상위 AI 모델의 순위를 가져와 이를 평균 냈습니다. 또한 기사의 시작 부분을 선호하도록 하는 작은 밀기(position prior)를 추가했습니다.

결과는 어떠했을까요? 퓨전은 간격의 **60%**를 달성했습니다. 이는 상당한 도약입니다.

• 최고의 단일 모델을 이깁니다: 퓨전은 단일 최고의 AI보다 약간 더 높았으며, 이는 통계적으로 확실한 차이였습니다.
• "스타" 모델이 필요 없습니다: 그룹에서 가장 성능이 좋은 AI를 제거하고 나머지 네 개를 평균 내더라도, 그 그룹은 여전히 단일 최고의 모델보다 높은 성적을 냈습니다. 이는 서로 다른 AI들이 서로 다른 실수를 저지르며, 이를 평균 내면 그 실수들이 서로 상쇄된다는 것을 시사합니다.
• 요행이 아닙니다: 연구진은 완전히 새로운 217개의 문서 세트에 대해 이 실험을 다시 수행했습니다(사전 등록된 복제 실험). 퓨전은 여전히 승리했으며, 이 결과가 운 좋은 사고가 아님을 확인했습니다.

"증류(Distillation)"의 놀라움

마지막으로, 연구진은 "더 작고 저렴한 AI에게 이것을 가르칠 수 있을까?"라고 물었습니다. 그들은 다섯 모델의 퓨전에서 얻은 "지혜"를 가져와 단일하고 더 작은 AI 모델(80억 파라미터 모델)에게 가르치려 했습니다.

그들은 두 가지 유형의 학생을 테스트했습니다.

1. 로컬 학생(The Local Student): 문장과 그 주변의 이웃 문장만을 읽는 모델입니다. 이 학생은 퓨전의 이점 중 **63%**만을 유지했습니다.
2. 전체 문서 학생(The Whole-Document Student): 전체 기사를 한꺼번에 읽는 모델입니다. 이 학생은 퓨전의 이점 중 **90%**를 유지했으며, 가장 강력한 단일 AI 모델만큼의 성능을 보여주었습니다.

이는 우리에게 심오한 사실을 알려줍니다. 인간이 흥미로워하는 것의 "신호"는 단지 국소적인 문장이 아니라, 전체 문서의 구조 속에 존재한다는 것입니다. 훌륭한 하이라이터가 되기 위해서 AI는 큰 그림을 볼 수 있어야 합니다.

시사점

이 논문은 AI가 "읽기"를 해결했다고 주장하는 것이 아닙니다. 대신, 현실적인 범위를 제시합니다:

1. 이 작업은 절반 정도 해결되었습니다. 우리는 아직 도달하지 못했습니다.
2. 해결되지 않은 나머지 절반은 위치가 아닌 '의미'에 관한 것입니다. 단순한 기술은 통하지 않습니다. AI는 텍스트를 이해해야 합니다.
3. 가장 저렴한 업그레이드는 여러 모델에게 물어보는 것입니다. 현재 최고의 결과를 얻고 싶다면, 단 하나의 AI만 사용하지 마십시오. 다섯 개의 서로 다른 AI에게 묻고 그 답변을 평균 내십시오. 이는 단일 최고의 모델을 이기는 간단한 기술입니다.

저자들은 또한 AI 모델이 더 똑똑해지고 서로 더 많이 동의하게 됨에 따라, 이 "퓨전의 이점"이 줄어들 수 있다고 경고합니다. 하지만 지금 당장은, 만약 당신이 "하이라이트 AI"를 만들고 있다면, 레시피는 간단합니다. 단 하나의 뇌에 의존하지 말고, 위원회를 구성하십시오.