💻 computer science

SEER: Long-Context Reasoning via Selective Visual-Text Compression

SEER은 쿼리와 관련된 이미지를 동적으로 선택하여 시각적 스캐닝을 수행하고 필요할 때만 상세 텍스트를 검색함으로써 롱컨텍스트(long-context) 추론의 효율성과 정밀도를 향상시키는 새로운 프레임워크로, 이를 통해 LongBench와 같은 벤치마크에서 기존의 시각-텍스트 및 텍스트 전용 베이스라인들을 능가합니다.

원저자: Jiawei Xu, Zhilin Zhai, Jinrui Fang, Ruohan Xu, Mingfei Lu, Yi Zhang, Guanchu Wang, Tianlong Chen, Ying Ding

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiawei Xu, Zhilin Zhai, Jinrui Fang, Ruohan Xu, Mingfei Lu, Yi Zhang, Guanchu Wang, Tianlong Chen, Ying Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 컴퓨터가 머릿속에 담을 수 있는 정보의 양과 그 정보를 처리하는 속도 사이의 점점 커지는 긴장 관계가 존재합니다. 현대의 챗봇과 글쓰기 보조 도구의 기반이 되는 시스템인 대규모 언어 모델은 방대한 양의 텍스트를 처리하도록 설계되었습니다. 그러나 이 시스템들이 한 권의 책이나 긴 법률 보고서와 같이 매우 긴 문서를 읽으려고 할 때, 중대한 장애물에 직면하게 됩니다. 고려해야 할 단어가 많아질수록 더 많은 컴퓨팅 파워와 시간이 필요하며, 이로 인해 속도가 현저히 느려지거나 텍스트 깊숙이 숨겨진 중요한 세부 정보를 놓치기도 합니다. 이를 해결하기 위해 연구자들은 최근 영리한 지름길을 시도했습니다. 바로 텍스트의 페이지를 이미지로 변환하는 것입니다. 단어를 그림으로 렌더링함으로써 컴퓨터는 사람이 페이지의 전체적인 레이아웃을 빠르게 훑어보는 것과 유사하게 문서 전체를 훨씬 더 빠르게 처리할 수 있습니다. 하지만 이러한 속도는 대가를 수반합니다. 텍스트가 이미지로 변환되면, 정확한 숫자, 특정 이름, 또는 정밀한 날짜와 같은 미세한 세부 사항들이 흐릿해지거나 읽기 어려워져, 컴퓨터가 내용에 대한 구체적인 질문에 답해야 할 때 오류를 범하게 됩니다.

한 연구팀은 이미지의 속도와 단어의 정밀함을 모두 잡는 것을 목표로 하는 SEER라는 새로운 접근 방식을 개발했습니다. 모든 문서를 동일한 방식으로 다루는 대신, SEER는 언제 훑어보고 언제 멈춰서 자세히 읽어야 하는지를 아는 숙련된 인간 독자처럼 행동하는 법을 배웁니다. 시스템은 먼저 문서를 일련의 이미지로 살펴보며 어떤 페이지가 특정 질문에 대한 답을 포함하고 있을 가능성이 높은지 빠르게 식별합니다. 일단 관련 페이지를 찾아내면, 시스템은 흐릿한 이미지에만 의존하지 않습니다. 대신 해당 특정 페이지의 원래 텍스트로 다시 돌아가 정확한 단어를 추출합니다. 그런 다음 이미지를 통해 얻은 넓은 맥락과 텍스트로부터 얻은 정밀한 세부 사항을 결합하여 답변을 구성합니다. 이 방식은 불필요한 페이지를 무시함으로써 속도를 유지하는 동시에, 실제로 중요한 부분에 대해서는 높은 정확도를 유지할 수 있게 해줍니다.

연구진은 이 새로운 시스템을 긴 문서를 다루는 표준적이고 까다로운 질문 세트로 테스트했습니다. 그 결과, SEER가 시각적 압축에만 의존했던 이전 방식들보다 성능이 크게 향 만큼 향상되었음을 발견했습니다. 긴 문서 이해도를 측정하는 주요 벤치마크에서, 이 새로운 시스템은 평균 51.11퍼센트의 정확도를 달 정도로 성과를 냈습니다. 이는 시각 전용 접근 방식이 기록한 48.78퍼센트보다 명확히 개선된 수치이며, 이미지 압축을 전혀 사용하지 않은 선도적인 텍스트 기반 모델보다도 높은 점수였습니다. 이러한 성과는 특정 사실을 추출해야 하는 작업, 예를 들어 특정 작가가 얼마나 많은 소설을 썼는지 세거나 보고서에서 특정 날짜를 찾는 등의 과제에서 특히 두드러졌습니다. 이러한 경우, 빠른 시각적 스캔에서 정밀한 텍스트 조회로 전환하는 능력이 상당한 차이를 만들어냈으며, 텍스트가 밀집되어 있어 이미지 형태로 읽기 어려운 일부 중국어 작업에서는 정확도를 거의 19포인트까지 높였습니다.

또한 이 연구는 시스템이 작동할 때 어떻게 행동하는지도 밝혀냈습니다. 평균적으로 질문 하나당 시스템은 문서의 내용을 자세히 조사하기 위해 약 1.59개의 페이지만 선택했습니다. 이는 문서가 실제로는 훨씬 더 많은 페이지를 포함하고 있음에도 불구하고, 시스템이 답변에 필요하지 않은 대다수의 텍스트를 성공적으로 무시하는 법을 배웠음을 시사합니다. 그러나 연구진은 이러한 효율성에 한계가 있다고 언급했습니다. 만약 질문에 대한 답이 여러 다른 페이지에 흩어져 있는 정보에 의존한다면, 단 몇 개의 페이지만 고르는 시스템의 전략은 충분하지 않을 수 있으며 정확도가 떨어질 것입니다. 더욱이, 시스템은 모든 페이지의 모든 단어를 읽지 않음으로써 상당한 컴퓨팅 파워를 절약하지만, 순수한 시간 측면에서 항상 더 빠르게 실행되는 것은 아닙니다. 시스템이 어떤 페이지를 읽을지 결정하고 텍스트를 가져오는 추가 단계를 거치기 때문에, 전체 데이터 처리량은 더 적더라도 단일 질문에 답하는 데 걸리는 총 시간은 때때로 문서 전체를 단순히 읽는 것보다 더 길어질 수 있습니다.

궁극적으로, 이 연구는 긴 문서를 다루는 가장 효율적인 방법은 속도와 정확도 중 하나를 선택하는 것이 아니라, 당면한 과제에 적응하는 하이브리드 전략을 사용하는 것임을 보여줍니다. 컴퓨터에게 언제 큰 그림을 보고 언제 세부 사항을 위해 확대해야 하는지를 가르침으로써, 연구진은 이전 방식들보다 더 빠르고 정밀한 시스템을 만들어냈습니다. 이 연구 결과는 미래의 인공지능 시스템이 모든 단어를 무차별적으로 처리하는 방식보다는, 인간이 복잡한 정보를 탐색할 때 자연스럽게 필요한 곳에만 주의를 집중하는 방식처럼 지능적인 선택에 더 많이 의존하게 될 것임을 시사합니다.

기술 요약: SEER – 선택적 시각-텍스트 압축을 통한 긴 문맥 추론

문제 정의

긴 문맥 추론(Long-context reasoning)은 텍스트 토큰에 대한 셀프 어텐션 메커니즘의 이차 복잡도(quadratic complexity)로 인해 대규모 언어 모델(LLM)에게 계산적으로 매우 비용이 많이 드는 작업입니다. 시각-텍스트 압축(visual-text compression)—텍스트를 이미지로 렌더링하고 이를 시각-언어 모델(VLM)로 처리하는 방식—은 토큰 수를 줄여주는 유망한 대안(통상 3~4배 압축)이지만, 기존 방식들은 **균등 압축(uniform compression)**이라는 결정적인 한계점을 가집니다.

기존 방법들(예: Glyph, Vist)은 쿼리의 관련성과 상관없이 전체 문맥에 걸쳐 균등하게 압축을 적용합니다. 이는 트레이드오프를 발생시킵니다. 즉, 공격적인 압축은 효율성을 높이지만 정밀한 추론(예: 특정 숫자나 이름 추출)에 필요한 세밀한 디테일을 희생하며, 보수적인 압축은 디테일은 보존하지만 효율성 이득을 상쇄합니다. 본 논문은 많은 쿼리가 전체 문맥에 대한 전역적 이해를 위한 정보와 더불어, 문맥의 아주 작은 부분집합에 대해서만 상세한 정보를 필요로 한다는 점에 주목합니다.

방법론: SEER 프레임워크

SEER(Selective Visual-Text Compression)은 선택적 시각-텍스트 압축을 학습함으로써 이 트레이드오프를 해결합니다. 이 모델은 시각적 스캐닝의 효율성과 텍스트 기반 추론의 정밀함을 결합하여, 시각적 선택과 텍스트 검색을 통일된 추론 프로세스 내의 도구로 취급합니다.

1. 3단계 추론 파이프로

SEER는 순차적인 도구 상호작용 궤적을 통해 작동합니다:

1단계: 시각적 선택(Visual Selection). 모델은 렌더링된 이미지 시퀀스( $I$ )와 쿼리( $q$ )를 스캔하여 관련 있는 이미지 인덱스 집합( $S$ )을 예측합니다. 이는 인간의 훑어보기(skimming)와 유사하게, 시각적 표현의 전역적 접근성을 활용하여 쿼리와 관련된 영역을 빠르게 식별합니다.
2단계: 텍스트 검색(Text Retrieval). 선택된 이미지들에 대해, 시스템은 대응하는 소스 텍스트( $y_R$ )를 결정론적으로 검색합니다. 이 단계는 추론 과정 중 OCR 컴포넌트의 필요성을 우회하며, 렌더링 과정에서 소스 텍스트가 이미 가용하다는 사실에 의존합니다. 이는 미세한 국소적 추론 능력을 제공합니다.
3단계: 추론(Reasoning). 모델은 전체 시각 이미지( $I$ ), 쿼리( $q$ ), 선택된 이미지 인덱스( $S$ ), 그리고 검색된 텍스트( $y_R$ )의 결합된 문맥을 바탕으로 최종 답변을 생성합니다. 이는 ReAct 스타일의 Thought-Action-Observation 패러다임을 따릅니다.

2. 학습 전략

SEER는 완전한 도구 상호작용 궤적에 대해 **지도 미세 조정(Supervised Fine-Tuning, SFT)**을 통해 학습됩니다.

데이터 구축: 학습 데이터셋은 렌더링된 이미지, 쿼리, 정답 관련 이미지(더 강력한 모델인 Qwen3.5-9B을 사용하여 주석 처리됨), 참조 Chain-of-Thought(CoT) 추론, 그리고 최종 답변을 포함하는 궤적으로 구성됩니다.
목표: 모델이 구조화된 도구 호출(예: {"name": "select", "indices": [1, 3]})을 출력하고, 관찰값으로서 검색된 텍스트를 수신한 뒤, 추론을 진행하도록 학습됩니다. 모델이 생성한 콘텐츠만을 감독하기 위해 퍼-토큰 가중치 마스크(per-token weight mask)를 사용하며, 모델이 생성하지 않은 관찰 토큰은 마스킹 처리합니다.
초기화: 모델은 Glyph-9B로부터 초기화되며, 2WikiMQA, HotpotQA, Qasper 등의 데이터셋에서 구축된 궤적을 통해 미세 조정됩니다.

주요 기여

프레임워크 제안: SEER는 시각-텍스트 압축과 **선택적 도구 호출(selective tool invocation)**을 결합하여, 추론 작업에 가장 관련 있는 이미지로부터만 텍스트를 검색하도록 학습하는 최초의 프레임워크입니다.
파이프라인 설계: 선택과 추론 능력을 공동으로 최적화하여, 모델이 효율성과 정밀함 사이의 균형을 맞출 수 있도록 하는 새로운 3단계 추론 파이프라인(Select-Retrieve-Reason)을 설계했습니다.
실증적 성능: 긴 문맥 벤치마크에서 성능 향상을 입증하였으며, 특히 균등 압축에서 손실되었던 정밀도를 텍스트 기반 처리에 의한 토큰 비용을 완전히 되돌리지 않으면서도 성공적으로 회복함을 보여주었습니다.

실험 결과

저자들은 LongBench 벤치마크(6개 카테고리의 21개 태스크)에서 텍스트 기반 LLM 및 시각-텍스트 압축 베이스라인들과 SEER를 비교 평가했습니다.

정확도: SEER는 LongBench에서 평균 **51.11%**의 정확도를 달성했습니다.
- 시각-텍스트 베이스라인인 Glyph-9B보다 2.33 포인트 앞섰습니다 (48.78% vs 51.11%).
- 텍스트 기반 모델인 Qwen3-8B보다 3.49 포인트 앞섰습니다 (47.62% vs 51.11%).
태스크별 이득: 개선 효과는 추출 집약적인 태스크에서 가장 두드러졌습니다:
- Qasper (단일 문서 QA): +8.75 포인트
- MultiFieldQA-Zh (중국어 QA): +19.17 포인트
- NarrativeQA: +4.22 포인트
토큰 효율성:
- Glyph-9B는 전체 텍스트 베이스라인 대비 약 3.14배의 프롬프트 압축을 달성했습니다.
- SEER는 1.28배 압축을 달성했습니다. 순수 시각 압축보다는 효율성이 낮지만, 태스크 관련 텍스트 정밀도를 회복하기 위해 일부 토큰 절감량을 희생했습니다.
- 평균적으로 SEER는 쿼리당 1.59개의 유효한 이미지만을 선택하며(중앙값 1), 검색 예산을 희소하게 유지합니다.

절제 연구 (Ablation Studies)

검색 제외 시 (Without Retrieval): 텍스트 검색 단계를 제거하면(선택만 수행) 정확도가 43.00%로 떨어졌습니다(-8.11 포인트). 이는 선택만으로는 정밀한 추출에 불충분함을 나타냅니다.
선택 및 검색 제외 시 (Without Selection + Retrieval): 순수 시각 추론(Glyph-9B 동작)은 48.78%를 기록했습니다(-2.33 포인트).
메커니즘 vs 데이터 (Mechanism vs. Data): 동일한 데이터를 사용하되 select/retrieve 메커니즘을 적용하지 않은 iso-training 컨트롤 모델은 45.20%를 기록했습니다. 이는 성능 향상이 단순히 미세 조정 데이터 때문이 아니라 select-retrieve 메커니즘에서 기인함을 확인해 줍니다.

의의 및 주장

본 논문은 SEER가 균등 시각-텍스트 압축에 내재된 정밀도-효율성 트레이드오프를 효과적으로 완화한다고 주장합니다. 필요한 곳에서만 선택적으로 텍스트를 검색하도록 학습함으로써, 이 프레임워크는 시각적 처리를 통한 전역적 문맥 인지 능력을 유지하면서도 특정 추론 단계를 정밀한 텍스트 증거에 근거하게 합니다.

저자들은 정확도 향상이 이름, 숫자, 날짜와 같은 정확한 세부 사항을 추출해야 하는 작업에 집중되어 있음을 강조합니다. 이러한 작업에서는 밀집하게 렌더링된 텍스트(예: 한자)의 경우 시각적 디코딩만으로는 오류가 발생하기 쉽습니다. 본 연구는 희소한 검색 예산(1~3페이지 선택)만으로도 균등 압축에서 손실된 성능의 대부분을 회복할 수 있음을 보여주며, 이는 긴 문맥 추론이 전체 문맥을 고해밀도 텍스트로 처리할 필요가 아니라, 올바른 부분을 처리하는 것이 중요하다는 점을 시사합니다.

한계점

논문은 다음과 같은 몇 가지 한계점을 명시적으로 언급합니다:

강건성 (Robustness): 선택 메커니즘이 완벽하게 강건하지는 않습니다. 모델이 가끔 범위를 벗어난 인덱스를 예측하며, 이는 폐기되어 실제 운영 시스템에서 검색 실패를 초래할 수 있습니다.
효율성 범위 (Efficiency Scope): 토큰 절감은 평균적인 수치이며 보장된 것은 아닙니다. 일부 태스크에서는 검색 오버헤드로 인해 프롬프트가 전체 텍스트 처리보다 더 커질 수 있습니다. 또한, 명시적인 추론 궤적 방출으로 인해 실시간 실행 시간(wall-clock time) 측면에서의 지연 시간 개선은 제한적입니다.
증거 분포 (Evidence Distribution): 이 방법은 증거가 몇 페이지에 걸쳐 존재하는 질문에 최적화되어 있습니다. 증거가 여러 페이지에 분산되어 있는 경우, 단일 라운드 선택의 특성상 재현율(recall)의 한계로 인해 성능이 저하됩니다.
범위 (Scope): SEER는 렌더링된 긴 문서(PDF, 코드 등)에 특화되어 있으며, 자연 이미지, 차트 또는 표준 OCR 벤치마크에 대해서는 평가되지 않았습니다.