거대한 퍼즐 조각을 맞추려 한다고 상상해 보세요. 그런데 테이블 위가 아니라 도시 크기만한 도서관 전체에 조각들이 흩어져 있습니다. 이제 당신을 도와줄 아주 똑똑한 로봇 비서가 있다고 상상해 보세요. 예전 방식에서 이 로봇은 도서관 전체를 한꺼번에 보려고 애썼습니다. 눈을 너무 세게 가늘게 뜨고 쳐다보다 보니 눈이 아파졌고, 미세한 디테일은 놓쳤으며, 결국 퍼즐 풀기를 포기하고 말았습니다. 이것이 현재의 AI가 긴 문서를 읽으려고 할 때 겪는 문제입니다. AI는 엄청난 양의 정보에 압도되어 집중력을 잃고, 빈칸을 채우기 위해 무언가를 지어내는 현상(이를 "환각(hallucination)"이라고 부르는 오류)을 일으키기 시작합니다.

이를 해결하기 위해 과학자들은 AI에게 인간 탐정처럼 행동하도록 가르치고 있습니다. 전체 페이지를 멍하니 바라보는 대신, 인간 탐정은 특정 단서에 줌인하여 세부 내용을 읽고 다음 지점으로 이동합니다. 이 논문은 InSight-doc라는 새로운 AI 시스템을 소개하는데, 이 시스템은 바로 그 작업을 수행합니다. 이 시스템은 "줌인(확대)"을 고정된 설정이 아니라 필요할 때마다 사용할 수 있는 초능력으로 취급합니다. 먼저 문서를 멀리서 전체적으로 훑어본 뒤(저해상도), 흥미로운 부분을 발견하면 그 작은 구역만을 아주 선명하고 높은 해상도로 볼 수 있는 돋보기를 꺼내 듭니다. 이렇게 함으로써 에너지를 절약하고, 혼란을 피하며, 추측하지 않고 진실을 찾아냅니다.

마법 돋보기를 가진 탐정

연구 논문, 재무 보고서, 법률 계약서와 같이 길고 복잡한 문서를 읽어야 하는 악몽을 해결하기 위해 설계된 새로운 종류의 AI 탐정, InSight-doc를 만나보세요. 오늘날 대부분의 AI 모델은 100페이지짜리 책을 아주 작게 복사된 전체 사진을 보며 눈을 가늘게 뜨고 읽으려는 학생과 같습니다. 그들은 모든 단어와 이미지를 동시에 처리하려고 시도합니다. 이는 재앙을 부르는 레시피입니다. 컴퓨터는 느려지고, 메모리가 바닥나며, 한 번에 너무 많은 것을 머릿속에 담으려다 보니 방금 읽은 내용을 잊어버리거나 혼란에 빠지는 "부패(rot)" 현상이 발생합니다. 더 나쁜 것은, 막혔을 때 똑똑해 보이기 위해 그냥 답을 지어내는 경우가 많은데, 이를 "환각(hallucination)"이라고 합니다.

InSight-doc는 이 흐름을 뒤집습니다. 책 전체를 한 입에 삼키는 대신, 잡지를 빠르게 넘겨보는 호기심 많은 십 대처럼 행동합니다. 먼저 저해상도로 페이지를 빠르게 훑으며 큰 그림과 제목 정도만 파악합니다. 그러다 질문의 답이 들어있을 것 같은 단락이나 차트를 발견하면, 단순히 추측하는 것이 아니라 "줌인" 도구를 사용하여 해당 특정 영역만을 고해상도의 선명한 이미지로 포착합니다. 마치 세부 내용을 읽어야 할 때만 사용하는 마법 돋보기를 가진 것과 같습니다.

이 논문은 이러한 "조대-세밀(coarse-to-fine)" 접근 방식이 게임 체인저임을 보여줍니다. 작게 시작해서 필요할 때만 줌인함으로써, InSight-doc는 단순히 시간을 절약하는 것을 넘어 실제로 더 똑똑해집니다. 긴 문서 테스트에서 이 모델은 표준 모델에 비해 "지어낸" 답변(환각)의 수를 40% 이상 줄였습니다. 또한 생각하고 답하는 시간을 **41%에서 68%**까지 단축하면서도 정답을 맞히는 빈도는 더 높였습니다.

어떻게 줌인을 배웠는가

로봇이 언제 줌인을 하고 어디를 봐야 할지 어떻게 배우는지 궁금할 것입니다. 연구진은 단순히 AI에게 "똑똑해져라"라고 말한 것이 아닙니다. 그들은 AI를 위한 거대한 훈련 놀이터를 만들었습니다. AI가 마치 선생님이 학생에게 현미경 사용법을 알려주듯, 단계별로 줌인하여 답을 찾는 법을 배울 수 있도록 17,900개의 사례로 구성된 특별한 데이터셋을 만들었습니다. 또한 AI가 단서를 찾기 위한 최선의 방법을 시행착오(강화 학습이라 불리는 방법)를 통해 스스로 터득할 수 있도록 19,200개의 까다로운 사례를 추가했습니다.

이 훈련을 통해 AI는 "멀티모달 사고 사슬(multimodal chain of thought)"을 배웠습니다. 이는 AI가 스스로에게 말을 거는 법을 배웠다는 뜻입니다. "음, 답이 1페이지에는 없네. 5페이지의 차트를 확대해 보자. 오, 이것도 아니군. 12페이지의 표를 확인해 보자." 이처럼 AI는 증거의 흔적을 쌓아가며, 확신 있는 답을 줄 수 있을 만큼 충분한 증거를 확보할 때까지 문서의 여러 부분을 줌인하며 조사합니다. 만약 문서에 답이 없다면, 지어내는 대신 "모르겠습니다"라고 말하는 법도 배웠습니다.

결과: 더 빠르고, 더 똑똑하며, 덜 허술하게

이 논문은 이 새로운 탐정을 주요 기술 기업들의 거대 독점 모델을 포함한 가장 똑똑한 AI 모델들과 비교 테스트했습니다. 결과는 인상적이었습니다. 표준 문서 퀴즈에서 InSight-doc는 저해상도 뷰에서 시작했을 때 기준 모델보다 최대 16.4 퍼센트 포인트 더 높은 정확도를 보이며 엄청난 격차로 개선되었습니다.

하지만 진짜 마법은 가장 길고 혼란스러운 문서에서 일어났습니다. 문서가 매우 길어지면(수백 페이지), 기존 모델들은 비틀거리며 실수를 하기 시작했습니다. 그러나 InSight-doc는 침착함을 유지했습니다. 이 모델은 58% 적은 "토큰"(컴퓨터가 처리해야 하는 텍스트와 이미지의 디지털 구성 단위)을 사용하면서도 정답을 찾아냈습니다. 이는 단순히 정답을 맞힌 것뿐만 아니라, 훨씬 적은 컴퓨팅 자원과 시간으로 해냈음을 의미합니다.

연구진은 또한 이 기술이 복잡한 지도나 차트를 보는 것과 같이 문서 이외의 분야에도 적용될 수 있는지 확인했습니다. 주로 문서에 대해 훈련되었음에도 불구하고, AI는 이러한 시각적 퍼즐에서도 성능을 향상시키며 일반화 능력을 보여주었습니다.

이것이 아닌 것 (그리고 하지 못하는 것)

InSight-doc가 무엇이 아닌지 아는 것도 중요합니다. 이것은 당신의 마음을 읽는 마법 지팡이가 아니며, 페이지를 찾기 위해 외부 검색 엔진에 의존하지도 않습니다. 일부 다른 AI 시스템은 PDF를 읽기 전에 Google을 사용하여 적절한 페이지를 먼저 "검색"하려고 시도합니다. 하지만 InSight-doc는 외부의 도움 없이 자신의 뇌 안에서 이 과정을 완전히 스스로 수행합니다. 덕분에 더 빠르고, 검색 엔진이 잘못된 페이지를 선택하더라도 길을 잃을 가능성이 낮습니다.

또한 이 논문은 이것이 모든 상황에 적용되는 해결책은 아니라는 점을 명확히 합니다. 연구진은 특정 유형의 문서와 질문에 대해 테스트를 진행했습니다. 그들은 이 모델이 세상의 모든 종류의 이미지나 텍스트에 완벽하게 작동한다고 주장하지 않았으며, 여전히 개선의 여지가 있음을 인정했습니다. 그들은 어떤 화려한 새로운 수학적 기교나 비밀 재료를 사용한 것이 아니라, 단지 "필요할 때 더 자세히 들여다보는" 능력을 주는 것이 얼마나 강력하고 단순하며 효과적인 아이디어인지를 보여주었을 뿐입니다.

요약하자면, InSight-doc는 때때로 전체 그림을 보는 가장 좋은 방법은 모든 것을 한꺼번에 보려고 애쓰는 것이 아님을 우리에게 가르쳐 줍니다. 중요할 때만 세부 사항에 줌인하는 법을 배움으로써, AI는 세상에서 가장 복잡한 문서 퍼즐을 푸는 데 있어 더 신뢰할 수 있고, 효율적이며, 정직한 파트너가 될 수 있습니다.