💬 NLP

RAGOCR: Optical Compression of Retrieval-Augmented Text via Visual Representation

RAGOCR는 검색된 문서를 동적 해상도 메커니즘을 갖춘 쿼리 조건부 시각적 표현으로 압축하여, 표준 RAG보다 정확도를 15% 이상 높이는 동시에 입력 토큰을 87.5% 줄이면서 기존의 하드 및 소프트 압축 베이스라인을 능가하는 새로운 프레임워크입니다.

원저자: Jiayang Yu, Jialun Zhong, Lei Zou

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiayang Yu, Jialun Zhong, Lei Zou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 미스터리를 풀려고 노력 중이라고 상상해 보세요. 하지만 단 하나의 단서 대신, 도서관 한 채 분량의 책들을 건네받았습니다. 당신은 그 수많은 책 속에서 정답이 담긴 단 하나의 문장을 찾아내야 합니다. 하지만 모든 책의 모든 단어를 읽는 것은 시간이 너무 오래 걸리고 뇌도 지치게 만듭니다. 이것이 바로 현대의 '스마트'한 컴퓨터 프로그램인 거대 언어 모델(LLM)이 매일 겪는 고충입니다. 이 프로그램들은 이야기를 쓰고, 질문에 답하고, 문제를 해결할 수 있는 아주 똑똑한 탐정 같지만, 읽기 능력에 있어서는 집중력이 짧습니다. 만약 한꺼번에 너무 많은 텍스트를 주면, 그들은 압도당하여 중요한 세부 사항을 놓치기 시작합니다.

이 탐정들을 돕기 위해 과학자들은 '검색 증강 생성(Retrieigation-Augmented Generation, RAG)'이라는 기술을 사용합니다. RAG를 아주 효율적인 사서라고 생각해보세요. 당신이 질문을 던지면, 사서는 선반에서 가장 관련성이 높은 책들을 빠르게 집어 들어 탐정에게 건네줍니다. 하지만 여기에는 함정이 있습니다. 사서의 도움을 받더라도, 책 더미는 여전히 들고 가기에 너무 무거울 수 있습니다. 탐정은 책을 떨어뜨리거나, 최악의 경우 중간 페이지들 속에서 길을 잃어 시작과 끝을 잊어버릴 수도 있습니다. 과학자들은 이 책들을 요약하거나 지루한 단어들을 잘라내어 크기를 줄이려고 시도해 왔지만, 이는 마치 계속 찢어지거나 실제로 필요한 이정표를 잃어버리는 지도를 접으려는 것과 같습니다.

이제 정보를 운반하는 다른 방법을 상상해 보세요. 단어들을 축소하는 대신, 텍스트가 담긴 페이지 전체를 하나의 아주 작은 사진으로 바꿀 수 있다면 어떨까요? 최근의 발견들은 컴퓨터가 텍st를 이미지로서 '보고', 단어를 하나하나 읽는 것보다 훨씬 적은 양의 '토큰'(컴퓨터가 사고하는 단위)을 사용하여 이를 이해할 수 있음을 시사합니다. 이는 긴 편지를 읽는 것과 편지의 사진 한 장을 훑어보는 것의 차이와 같습니다. 사진은 같은 정보를 훨씬 더 작은 공간에 압축하여 담아냅니다. 하지만 새로운 문제가 있습니다. 만약 모든 책을 사진으로 바꾼다면, 여전히 너무 많은 사진을 봐야 할 것이고, 그중 일부는 쓸모없는 것들일 것입니다. 진짜 과제는 어떤 사진을 크고 선명하게 유지하고, 어떤 것을 중요한 단서를 잃지 않으면서 아주 작고 흐릿한 썸네일로 압축할 것인가를 결정하는 것입니다.

이것이 바로 "RAGOCR"이라는 논문이 다루는 내용입니다. 베이징 대학교의 연구진인 저자들은 검색된 텍스트 문서를 이미지로 변환한 뒤, 질문에 따라 중요도에 맞춰 크기를 조절하는 스마트한 '압축기(compressor)'를 사용하는 영리한 시스템을 제안합니다.

이 마법이 작동하는 방식은 다음과 같습니다. 먼저, 시스템은 사서가 찾아낸 모든 텍스트 문서를 가져와 각 페이지의 사진을 찍듯 이미지로 변환합니다. 그다음, 특별한 AI 압축기가 당신의 질문과 그 이미지들을 함께 살펴봅니다. 이 압축기는 정확히 무엇이 필요한지 아는 현명한 편집자처럼 행동합니다. 만약 어떤 문서가 당신의 질문과 매우 관련이 높다면, 압축기는 해당 문서를 고해상도로 유지하여 아주 작은 세부 사항까지도 수정처럼 맑고 깨끗하게 보여줍니다. 하지만 어떤 문서가 질문과 약간만 관련이 있거나 전혀 관련이 없다면, 압축기는 이를 공격적으로 축소하여 아주 작은 공간만을 차지하는 저해상도의 작은 점으로 만들어 버립니다.

이 논문은 이러한 '질의 인지적(query-aware)' 접근 방식이 게임 체인저가 될 것이라고 제안합니다. '그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)'라는 학습 방법을 통해, 시스템은 이미지의 크기를 완벽하게 조절하는 법을 배웁니다. 테스트 결과, 이 방법은 컴퓨터가 일반적인 방식으로 수행할 때보다 15% 이상 더 높은 정확도로 의료 질문에 답할 수 있게 해주었으며, 동시에 평소 사용하는 '사고 공간(토큰)'의 8분의 1만을 사용했습니다. 이는 도서관 한 채 분량의 지식을 단 하나의 배낭 안에 담는 것과 같습니다.

흥미롭게도, 이 논문은 압축기가 이미지를 축소하는 방식 자체가 어떤 문서가 가장 중요한지를 알려준다는 놀라운 부수 효과를 발견했습니다. 시스템은 이미지를 얼마나 축소할지를 결정함으로써 자연스럽게 최고의 문서들에 높은 점수를 주는 법을 배웁니다. 즉, 텍스트를 축소하는 동일한 도구가 최고의 책을 골라내는 필터 역할까지 수행하여, 잠재적으로 다른 복잡한 순위 선정 도구들을 대체할 수 있다는 뜻입니다.

연구진은 이 시스템을 까다로운 추론이 필요한 시험을 포함한 다섯 가지 서로 다른 의료 질문 세트에 대해 테스트했습니다. 그 결과, RAGOCR은 문서가 일반 텍스트이든, 복잡한 의료 가이드라인이든, 혹은 그림과 텍스트가 섞인 슬라이드 덱이든 관계없이 다른 방식들을 일관되게 압도했습니다. 그들은 단순히 텍스트를 이미지로 바꾸는 것만으로도 도움이 되지만, '스마트하게 크기가 조절된' 이미지를 사용하는 것이 훨씬 더 효과적이라는 것을 보여주었습니다. 이 논문은 이 접근 방식이 '하드(hard)' 압축(단어를 잘라내는 것)과 '소프트(soft)' 압축(요약하는 것) 사이의 간극을 메우며, 가장 중요한 세부 사항은 유지하면서 소음은 버리는 방법을 제시한다고 주장합니다.

요약하자면, RAGOCR은 우리가 모든 것을 읽거나 혹은 아무것도 읽지 않는 것 중 하나를 선택할 필요가 없음을 시사합니다. 대신, 우리는 AI 탐정들에게 중요한 길은 넓고 선명하며, 막다른 길은 아주 작고 흐릿한 점으로 표시된 시각적 지도를 제공할 수 있습니다. 이를 통해 그들은 더 빠르고 정확하게 미스터리를 풀 수 있으며, 때로는 보는 것이 곧 믿는 것이고, 보는 것이 곧 생각하는 것임을 증명합니다.

기술 요약: RAGOCR

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 지식 집약적인 질의응답을 위해 필수적이지만, RAG 파이프라인을 확장하는 데 있어 결정적인 병목 현상에 직면해 있습니다. 바로 길게 검색된 컨텍스트를 처리하는 데 드는 과도한 계산 비용입니다. 검색된 문서의 양이 증가함에 따라, 거대 언어 모델(LLM)은 긴 입력값 속에 숨겨진 핵심 정보에 주의를 기울이는 데 어려움을 겪으며, 이는 생성 품질의 저하로 이어집니다.

기존의 압축 방식들은 근본적인 트레이드오프(trade-off)에 직면해 있습니다:

하드 압축(Hard Compression): 쿼리 인지적(query-aware) 방식으로 온라인에서 작동하는 방식(예: 토큰 프루닝, 문장 추출)은 완만한 압축률만을 달야하며, 종종 생성 모델의 미세 조정(fine-tuning)을 요구합니다.
소프트 압축(Soft Compression): 높은 압축률을 달성하는 방식(예: 임베딩 기반)은 쿼리와 완전히 무관하게 수행되는 비용이 많이 드는 오프라인 인코딩에 의존합니다.

나아가, 최근 연구는 시각적 토큰이 텍스트 토큰보다 실질적으로 더 높은 정보 밀도를 가진다는 것을 시사합니다. 그러나 RAG에 쿼리 인지 전략 없이 시각적 렌더링을 적용하는 것은 새로운 문제를 야기합니다. 검색된 문서는 그 관련성이 매우 다양하기 때문입니다. 모든 렌더링된 이미지에 균일한 해상도를 적용하면, 관련성이 낮은 구절에는 불필요한 토큰을 낭비하거나, 관련성이 매우 높은 구절에서는 치명적인 정보 손실을 초0 발생시키게 됩니다. 즉, 각 문서와 쿼리 사이의 의미론적 관련성에 따라 시각적 해상도를 동적으로 할당하는 **쿼리 인지 할당 전략(query-aware allocation strategy)**이 부족한 실정입니다.

방법론: RAGOCR

저자들은 RAGOCR(Optical Character Rendering을 통한 검색 증강 생성)을 제안합니다. 이는 입력 쿼리에 따라 압축된 시각적 표현으로 검색된 문서를 압축하는 프레임워크입니다. 이 파이프라인은 세 단계로 작동합니다:

1. 렌더링 단계 (Rendering Stage)

검색된 텍스트 문서는 텍로 래스터화(text rasterization)를 통해 이미지로 변환됩니다. 이는 1차원 토큰 시퀀스를 본질적으로 더 높은 정보 밀도를 가진 2차원 시각적 표현으로 변환합니다. 렌더링 과정은 폰트 크기, 최대 캔버스 너비, 패딩에 의해 매개변수화되며 결정론적(deterministic)입니다. 이 이미지들은 오프라인에서 미리 계산될 수 있으므로 추론 시 오버헤드가 미미합니다.

2. 광학 압축 단계 (Optical Compression Stage - 핵심 혁신)

**쿼리 인지 압축기(query-aware compressor)**는 모든 렌더링된 이미지를 입력 쿼리와 함께 공동으로 검토하고, 이미지당 압축 계수를 예측합니다.

메커니즘: 이 압축기는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 학습된 경량 시각-언어 모델(구체적으로 Qwen3-VL-2B)입니다.
적응형 할당(Adaptive Allocation): 이 정책은 고도로 관련 있는 문서에 해당하는 이미지에는 낮은 압축(높은 해상도)을 할당하여 세밀한 디테일을 보존하는 한편, 관련성이 낮은 문서는 공격적으로 다운스케일링하도록 학습됩니다.
학습 목표: GRPO 보상 함수는 세 가지 항의 합성물입니다:
1. 태스크 보상 ( $r_{task}$ ): 다운스트림 생성기가 압축된 이미지를 사용하여 정답을 생성했는지 여부에 따른 이진(binary) 보상입니다.
2. 압축 보상 ( $r_{comp}$ ): 공격적인 압축(로그 압축 계수의 합을 최대화)을 장려하지만, 태스크 보상이 양수일 때만 활성화되어 모델이 압축을 위해 정확도를 희생하는 것을 방지합니다.
3. 포맷 보상 ( $r_{format}$ ): 모델이 압축 계수를 위한 유효한 구조화된 템플릿을 출력하도록 보장합니다.

3. 추론 단계 (Inference Stage)

추론 시, 압축기는 쿼리와 모든 렌더링된 이미지를 단 한 번의 순방향 패스(forward pass)로 처리하여 압축 계수를 생성합니다. 각 이미지는 $1/\sqrt{c_i}$ (여기서 $c_i$ 는 압축 계수) 비율로 크기가 조정되어 시각적 토큰 수를 비례적으로 줄입니다. 이후 압축된 이미지 세트는 시각-언어 생성기에 전달되어 최종 답변을 생성합니다.

창발적 리랭킹 능력 (Emergent Reranking Capability)

주요 발견 중 하나는 압축기가 학습한 압축 비율이 패시지(passage)의 관련성을 나타내는 매우 효과적인 대리 지표(proxy) 역할을 한다는 것입니다. 압축기가 더 관련 있는 구절에 낮은 압축 비율을 할당하기 때문에, 압축 계수의 역수( $1/c_i$ )는 자연스럽게 관련성 순위를 인코딩합니다. 이를 통해 압축기는 추가적인 학습 목표나 모듈 없이도 **리랭커(reranker)**로서 기능할 수 있습니다.

주요 기여

RAGOCR 프레임워크: 텍스트 기반 RAG를 압축하기 위해 광학 렌더링과 동적인 쿼리 인지 해상도 할당을 결합한 새로운 시스템으로, 토큰 효율성과 답변 품질 사이의 균형을 맞춥니다.
GRPO로 학습된 압축기: GRPO를 통해 학습되어 쿼리 관련성에 따라 압축 비율을 적응적으로 할당하는 경량 압축기를 개발하였으며, 이를 통해 생성 모델을 별도로 미세 조정할 필요가 없습니다.
통합 압축-리랭킹: 광학 압축과 관련성 추정이 동전의 양면과 같다는 사실을 발견했습니다. 압축기는 패시지 관련성을 내재적으로 인코딩하여, 전용 리랭킹 모델(예: Qwen3-Reranker-4B)보다 뛰어난 성능을 보이는 통합 압축-리랭커 시스템으로 기능합니다.
일반화 가능성: 자유 텍스트 구절, 지식 그래프, 시각적으로 풍부한 이미지 기반 문서(예: 슬라이드 덱)를 포함한 다양한 지식 소스 전반에서 이 접근 방식이 작동함을 입증했습니다.

실험 결과

MedOmniKB 검색 코퍼스를 사용하여 5개의 지식 집약적 QA 벤치마크(MedQA, MedMCQA, PubMedQA, BioASQ, MMLU-Med)에서 실험을 수행했습니다.

Naive RAG 대비 성능: RAGOCR은 입력 토큰 수를 약 8분의 1로 줄이면서도(약 87%의 토큰 감소), 네이이브 RAG보다 정확도 면에서 15% 이상 높은 성능을 보였습니다 (평균 61.47% vs 44.63%).
베이스라인과의 비교: RAGOCR은 다양한 검색 깊이에서 하드 압축 방식(LongLLMLingua, Provence, EXIT, FaviComp)과 소프트 압축 방식(OSCAR) 모두를 일관되게 능가했습니다.
- 텍스트 기반 압축 베이스라인인 Provence보다 정확도 면에서 거의 3포인트 앞서면서도 더 적은 토큰을 사용했습니다.
- 단독 리랭커로 사용되었을 때 전용 리랭커(Qwen3-Reranker-4B)보다 우수한 성능을 보였습니다 (59.15% vs 54.52%).
멀티모달 평가: 20페이지 분량의 슬라이드 덱을 대상으로 한 SlideVQA 벤치마크에서 RAGOCR은 Exact Match, F1-score, ANLS 지표 모두에서 최고의 성능을 기록하며, 텍스트와 시각적 요소가 혼합된 문서를 처리하는 능력을 입증했습니다.
절제 연구 (Ablation Studies):
- 균일 vs 적응형: 정적 OCR 압축(균일 해상도)은 Full-resolution Visual RAG에 비해 성능이 저하되었으며, 이는 쿼리 인지 적응이 필수적임을 확인시켜 줍니다.
- 파이프라인 통합: RAGOCR을 텍스트 기반 리랭커(R&R)와 결합했을 때 가장 높은 정확도(63.60%)를 얻었으며, 이는 텍스트 기반 리랭킹과 광학 압축이 문서의 유용성에 대한 상호 보완적인 측면을 포착함을 시사합니다.

의의 및 주장

본 논문은 RAGOCR이 시각적 토큰의 높은 정보 밀도와 RAG에서의 쿼리 인지적 컨텍스트 관리 필요성 사이의 간극을 메운다고 주장합니다. 텍스트를 이미지로 렌더링하고 이를 적응적으로 압축함으로써, 이 프레임워크는 모델이 고정된 컨텍스트 창 내에서 더 많은 지식을 흡수하거나 훨씬 적은 토큰으로 동일한 정보를 전달할 수 있게 합니다.

결정적으로, 저자들은 압축과 랭킹의 통합을 강조합니다. 단일 모델이 콘텐츠를 압축하는 동시에 관련성에 따라 순위를 매길 수 있다는 사실은 "광학 압축과 관련성 추정이 동전의 양면과 같다"는 새로운 패러다임을 제시합니다. 이는 향후 검색 증강 시스템이 단일 경량 모델을 사용하여 검색 필터링, 컨텍스트 압축, 관련성 추정을 모두 처리함으로써 현재 RAG 파이프라인의 계산 오버헤드를 크게 줄일 수 있음을 시사합니다.