LëtzCross: A Cross-Lingual Page-Level Benchmark for Multimodal Retrieval over Luxembourgish Documents

현대 디지털 세상에서 방대한 정보의 도서관은 깔끔한 텍스트의 행렬이 아니라, 차트, 다이어그램, 표, 그리고 흩어진 레이아웃으로 가득 찬 복잡한 시각적 문서로서 존재합니다. 컴퓨터가 이러한 파일 내에서 특정 답변을 찾기 위해, 전통적으로는 두 단계의 과정을 거쳐왔습니다. 먼저, 시스템은 페이지의 이미지를 스캔하여 모든 단어를 읽으려고 시도하며 시각적인 잉크를 디지털 텍스트로 변환합니다. 그 다음, 그 텍스트에서 키워드를 검색합니다. 이 방식은 단순한 문서에는 잘 작동하지만, 정답이 그래프의 형태나 표의 배치에 있거나, 컴퓨터가 잘 알지 못하는 언어로 작성된 문서일 때는 종종 실수를 범합니다. 사용자가 영어와 같은 언어로 질문을 하지만, 정작 필요한 문서는 룩셈부르크어와 같이 희귀하거나 자원이 부족한 언어로 작성된 경우 이 과제는 더욱 어려워집니다. 연구자들은 이제 다른 접근 방식을 탐구하고 있습니다. 즉, 컴퓨터에게 단순히 단어를 읽는 것이 아니라, 단어와 시각적 레이아웃 사이의 관계를 동시에 이해하면서 문서 페이지를 하나의 전체적인 그림으로 바라보도록 가르치는 것입니다.

룩셈부르크 대학교의 연구팀은 이 아이디어를 테스트하기 위해 룩셈부르크어라는 구체적이고 어려운 사례를 사용하여 실험을 진행했습니다. 룩셈부르크어는 적은 인구가 사용하는 언어로, 컴퓨터가 학습할 수 있는 디지털 자원이 매우 적습니다. 현대의 시스템들이 이를 얼마나 잘 처리할 수 있는지 연구하기 위해, 연구팀은 L¨etzCross라는 새로운 테스트 환경을 구축했습니다. 그들은 텍스트가 많은 보고서부터 그래프와 표 같은 시각적 데이터가 풍부한 페이지에 이르기까지 수백 개의 실제 룩셈부르크어 PDF 문서를 수집했습니다. 그런 다음 인간이 해당 페이지에 대해 던질 법한 질문 세트를 만들었습니다. 어떤 질문들은 텍스트를 읽어야 했고, 다른 질문들은 답을 찾기 위해 차트나 다이어그램을 살펴봐야 했습니다. 결정적으로, 이 질문들은 영어, 프랑스어, 독일어, 룩셈부르크어라는 네 가지 다른 언어로 작성되었습니다. 이러한 설정은 컴퓨터가 룩셈부르크어 문서를 보고 완전히 다른 언어로 된 질문에 답할 수 있는지 확인하기 위함이었습니다.

연구진은 이 새로운 벤치마크를 대상으로 두 가지 주요 유형의 컴퓨터 시스템을 테스트했습니다. 첫 번째 그룹은 전통적인 방식에 의존했습니다. 그들은 PDF 이미지에서 텍스트를 추출하는 소프트웨어를 사용한 뒤 그 텍스트를 검색했습니다. 두 번째 그룹은 페이지 이미지를 직접 바라보며 시각적 레이아웃과 텍스트를 하나의 통합된 정보로 취급하는 더 새로운 유형의 시스템을 사용했습니다. 연구진이 결과를 비교했을 때, 페이지 이미지를 전체로서 바라본 시스템들이 현저히 더 나은 성능을 보였습니다. 그들은 질문이 어떤 언어로 던져지든 상관없이 텍스트 전용 시스템보다 더 자주 정답 페이지를 찾아냈습니다. 이미지 기반 시스템은 특히 막대 차트에서 특정 값을 읽는 것과 같이 시각적 요소를 이해해야 하는 질문에 탁려 뛰어난 성능을 보였는데, 텍스트 전용 시스템은 데이터의 구조를 "볼" 수 없었기 때문에 이러한 경우에 자주 실패했습니다.

시스템을 더욱 개선하기 위해, 연구진은 '파인 튜닝(fine-tuning)'이라 불리는 과정에 대한 실험을 진행했습니다. 이는 학생에게 특정 과목의 기술을 연마하기 위해 추가 연습 시험을 주는 것과 비슷합니다. 그들은 한 번에 한 가지 언어로만 작성된 질문들을 사용하여 이미지 기반 시스템을 훈련시켰고, 또한 네 가지 언어를 혼합하여 훈련시키기도 했습니다. 그들은 프랑스어로 된 질문으로 시스템을 훈련시키는 것이 독일어나 영어 질문으로 훈련시키는 것보다 룩셈부르크어 질문에 더 잘 답할 수 있게 도와준다는 것을 발견했습니다. 그러나 가장 효과적인 접근 방식은 룩셈부르크어를 포함한 네 가지 언어를 모두 섞어서 시스템을 훈련시키는 것이었습니다. 시스템이 훈련 중에 룩셈부르크어 질문을 접했을 때, 룩셈부르크어 문서에서 답을 찾는 능력이 상당히 향상되었습니다. 이는 시스템이 언어 간의 이해를 번역할 수는 있지만, 대상 언어를 직접 보는 것이 자신이 검색해야 할 특정 문서와 지식을 일치시키는 데 도움이 된다는 것을 시사합니다.

이 연구는 또한 시스템이 문서의 시각적 부분을 어떻게 다루는지도 조사했습니다. 연구진은 텍스트를 읽는 능력 외에 이미지를 "보는" 능력을 업데이트하는 것이 차이를 만드는지 테스트했습니다. 그들은 텍스트 처리만을 조정하는 것보다 시각적 이해와 텍스트 이해를 모두 조정할 수 있도록 허용된 시스템이 더 우수한 성능을 보인다는 것을 발견했습니다. 이는 레이아웃과 그래픽이 중요한 정보를 담고 있는 문서의 경우, 컴퓨터가 단지 그 안의 단어뿐만 아니라 이미지를 전체로서 처리해야 함을 확인시켜 줍니다. 텍스트 전용 시스템이 일부 경우에서 설정하기 더 빠르기는 했지만, 이미지 기반 시스템은 복잡하고 시각적으로 풍부한 문서를 다룰 때, 특히 디지털 지원이 제한적인 언어를 다룰 때 더 신뢰할 수 있는 정보 검색 방법을 제공했습니다.

이 작업은 저자원 언어와 복잡한 문서의 경우, 텍스트를 읽는 것보다 그림을 보는 것이 종종 더 효과적이라는 점을 명확히 보여줍니다. 연구진은 단어와 이미지를 모두 이해할 수 있는 현대적 시스템이 기존 방식보다 서로 다른 언어 사이의 간극을 더 성공적으로 메울 수 있다는 것을 발견했습니다. 대상 언어를 포함하여 여러 언어로 훈련하는 것이 최선의 결과를 낳는다는 것을 보여줌으로써, 이 연구는 주요 글로벌 언어의 사용자들뿐만 아니라 모두를 위한 검색 도구를 구축할 수 있는 실질적인 경로를 제시합니다. 이 연구 결과는 우리가 점점 더 시각적이고 다국어적인 정보 환경으로 나아감에 따라, 검색의 미래는 문서를 전체로서 보고 이해할 수 있는 시스템에 달려 있음을 시사합니다.