MGAL: A Multilingual Granularity-Aware Long-Context Benchmark

천 페이지 분량의 책을 읽는다고 상상해 보십시오. 하지만 페이지를 넘기는 대신, 그 전체 텍스트를 한꺼번에 머릿속에 담아두고 중간 어딘가에 숨겨진 단 하나의 사실을 찾아내야 한다면 어떨까요? 이것이 바로 대규모 언어 모델(LLM)로 알려진 현대 인공지능 시스템들이 직면한 과제입니다. 이 프로그램들은 인간의 언어를 이해하는 데 매우 능숙해져서, 에세이를 쓰고, 질문에 답하며, 텍스트를 쉽게 번역할 수 있게 되었습니다. 그러나 수만 단어에 달하는 매우 긴 문서를 처리하는 능력은 여전히 큰 장애물로 남아 있습니다. 이들은 텍스트의 시작 부분이나 끝 부분에 있는 사실은 종종 기억해 내지만, 정보가 중간 깊숙이 묻혀 있거나 서로 다른 부분들이 결합하여 하나의 일관된 전체를 형성하는 방식을 이해해야 할 때는 자주 비틀거립니다. 연구자들은 오랫동안 이러한 시스템들이 '롱 컨텍스트(long-context)' 문제로 어려움을 겪고 있다고 의심해 왔지만, 지금까지는 특히 영어 이외의 언어를 다룰 때 정확히 어디에서 왜 실패하는지를 테스트할 수 있는 포괄적인 방법이 없었습니다.

연구팀은 이 미스터리를 해결하기 위해 MGAL이라는 새로운 테스트 환경을 구축했습니다. 그들은 유엔(UN)의 실제 문서들을 사용하여 이 벤치마크를 제작했는데, 이 보고서들은 길이는 8,000에서 128,000 토큰에 달합니다. 이 문서들은 인권, 평화 유지, 공중 보건과 같은 중요한 글로벌 주제들을 다루고 있으며, 영어, 중국어, 프랑스어, 러시아어, 스페인어, 아랍어 등 6개의 공식 언어로 제공됩니다. 연구진은 단순히 간단한 퀴즈를 만든 것이 아니라, 네 가지 다른 세부 수준에서 모델을 테스트하는 정교한 과제 세트를 설계했습니다. 가장 미세한 수준에서 모델은 특정 단어나 숫자를 찾아내야 합니다. 다음 단계에서는 단일 문장이 문단 내에서 어떻게 어우러지는지 이해해야 합니다. 그다음으로는 문맥에 맞게 누락된 문단을 생성해야 하며, 마지막으로 전체 문서를 요약하거나 번역해야 합니다. 결정적으로, 연구진은 정보가 텍스트 내의 어디에 위치했는지(시작, 중간, 또는 끝)를 추적하여, 모델이 문서의 특정 부분에 편향성을 가지고 있는지 확인할 수 있도록 했습니다.

연구진이 가장 진보된 12개의 언어 모델을 이 새로운 벤치마크로 테스트했을 때, 결과는 명확하고 일관된 패턴을 보여주었습니다. 모델들은 특정 단어나 숫자를 찾는 작업에는 매우 뛰어난 성능을 보였는데, 이는 이들이 세부 사항을 찾는 효율적인 검색 엔진 역할을 할 수 있음을 보여줍니다. 그러나 전체 보고서를 요약하거나 누락된 문단을 채우는 것과 같이 더 넓은 범위를 요구하고 더 큰 덩어리의 텍스트를 이해해야 하는 과제로 넘어가자, 성능이 눈에 띄게 떨어졌습니다. 모델들은 문서 전체에 대한 일관된 이해를 유지하는 데 어려움을 겪었습니다. 또한, 이 연구는 고자원 언어(영어, 중국어 등)와 저자원 언어 사이의 뚜렷한 격차를 강조했습니다. 가장 크고 비용이 많이 드는 모델들은 언어 전반에 걸쳐 유사한 성능을 보였지만, 규모가 작은 오픈 소스 모델들은 주요 언어에서는 확실한 우위를 보인 반면 다른 언어들에서는 상당히 고전했습니다.

아마도 가장 시사점이 큰 발견은 모델이 '어떻게' 실패하는지를 분석하는 과정에서 나왔을 것입니다. 연구진은 텍스트 내의 문장들이 유사한 주제를 공유하거나 동일한 이름을 반복할 때 모델들이 혼란을 겪는다는 것을 발견했습니다. 모델들은 문장이 논리적으로 어떤 역할(배경 설명, 결론 제시, 또는 반론 제기 등)을 하는지 이해하는 대신, 피상적인 단서에 의존했습니다. 그들은 문장이 적절한 선택인지와 상관없이, 주변 텍스트와 가장 비슷하게 들리거나 연결 단어가 포함된 문장을 선택하곤 했습니다. 이는 마치 이야기를 요약하라는 요청을 받았을 때, 실제로 무슨 일이 일어났는지 설명하기보다 자신이 가장 잘 기억하는 등장인물의 이름만을 반복하는 학생과 같습니다. 또한, 연구는 모델들이 유창하고 문법적으로 완벽해 보이지만 사실 관계는 틀린 텍스트를 생성하는 경우가 많다는 점을 밝혀냈습니다. 모델들은 원래 문서에 없는 세부 사항, 날짜, 인물을 자신 있게 지어내며, 진실에서 벗어난 매끄러운 서사를 만들어냈습니다.

연구진은 또한 정보의 위치가 매우 중요하다는 것을 확인했습니다. 많은 과제에서 모델들은 문서의 맨 앞이나 맨 끝에 위치한 답을 찾는 데 훨씬 더 뛰어난 성능을 보였으며, 답이 중간에 있을 때 성능이 눈에 띄게 하락했습니다. 이는 모델들이 긴 텍�스트 시퀀스의 중심부에 주의력을 집중시키는 데 어려움을 겪고 있음을 시사합니다. 이 새로운 벤치마크를 통해 연구팀은 인공지능의 긴 문서 이해 능력에 대한 현재의 한계를 보여주는 명확한 지도를 제공했습니다. 그들은 이 시스템들이 정보를 처리하는 강력한 도구이긴 하지만, 복잡하고 긴 보고서를 다양한 언어로 진정으로 '읽고' 이해하는 데 필요한 깊고 일관된 이해력은 여전히 부족하다는 것을 보여주었습니다. 이 연구는 향후 연구의 새로운 기준을 설정하며, 개발자들이 모델이 피상적인 단서를 넘어 전체 이야기를 충실하고 정확하게 이해할 수 있도록 안내하고 있습니다.