💬 NLP

Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment

이 논문은 중간 추론 토큰 없이 그룹 상대적 정책 최적화(Group Relative Policy Optimization)를 멀티모달 문서 질의응답에 적용하는 훈련 프레임워크인 Perception-RFT를 소개하며, 이는 직접적인 시각적 접지 정렬(visual grounding alignment)이 추론 중심 방식보다 추론 비용을 60% 이상 절감하는 동시에 의미론적 강건성과 기하학적 정밀도 사이의 "접지 발산(Grounding Divergence)" 트레이드오프를 회피함으로써 더 우수함을 입증한다.

원저자: Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 지저분하게 손으로 쓴 영수증을 읽고, 그 영수증의 합계 금액을 정확히 가리키도록 가르치고 있다고 상상해 보세요. 이것은 단순히 로봇이 올바른 숫자를 말하는 것뿐만 아니라, 로봇이 종이 위의 그 숫자가 있는 위치를 물리적으로 찾아내는 것에 관한 문제입니다. 이 분야를 "멀티모럴 문서 질의응답(Multimodal Document Question Answering)"이라고 부릅니다. "멀티모럴(Multimodal)"을 로봇이 두 가지 감각을 동시에 사용하는 것이라고 생각하세요. 즉, 눈(문서의 이미지를 보는 것)과 뇌(텍스트를 이해하는 것)를 사용하는 것입니다. 오랫동안 과학자들은 한 가지 큰 질문에 막혀 있었습니다. 로봇이 올바른 지점을 가리키기 위해서, 먼저 소리 내어 "생각"해야 할까요? 즉, "좋아, 달러 기호가 보이고, 그다음에 숫자가 있으니, 합계는 여기에 있겠군"이라고 말한 뒤에 가리켜야 할까요? 아니면 그 추가적인 수다스러움이 로봇의 속도를 늦추는 것일까요? 이것은 매우 중요합니다. 왜냐로 은행이 대출 신청서를 검토하거나 변호사가 계약서를 감사하는 것과 같은 현실 세계에서는 속도와 정확성이 전부이기 때문입니다. 만약 로봇이 "생각"하느라 시간을 허비하거나 잘못된 지점을 가리킨다면, 사람들에게 금전적 손실을 입히거나 중요한 세부 사항을 놓칠 수 있습니다.

이 논문의 저자들은 대담한 아이디어를 테스트하기로 했습니다. 로봇에게 생각을 멈추고 그냥 보라고 말하면 어떨까요? 그들은 "Perception-RFT"라고 불리는 훈련 시스템을 구축했습니다. 로봇이 긴 문장으로 된 설명(마치 수학 시험에서 풀이 과정을 보여주는 학생처럼)을 생성하게 하는 대신, 정답과 그 정답이 페이지의 어디에 존재하는지에 대한 좌표로 바로 건너뛰도록 강제했습니다. 그들은 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)라는 특별한 훈련 방법을 사용했는데, 이는 마치 코치가 로봇 팀에게 일련의 답변들을 주고 "너는 다른 이들보다 더 잘했으니, 그렇게 계속하도록 해"라고 말하는 것과 같습니다. 이때 왜 그렇게 했는지 단계별로 설명할 필요는 없습니다.

여기서 놀라운 반전이 발견되었습니다. 로봇에게는 "생각"하는 부분이 전혀 필요하지 않았던 것입니다. 실제로 연구진이 로봇이 소리 내어 생각하도록 허용했을 때, 로봇은 결국 스스로 생각을 멈추게 되었습니다. 훈련 과정 동안 모델들은 긴 추론 사슬을 생성하기 시작했지만, 과업에 능숙해짐에 따라 그 생각들을 압축하여 거의 사라지게 만들었습니다. 결론적으로, 생각하도록 허용된 로봇들은 즉시 "보고" 가리키도록 강제된 로봇들보다 성능이 떨어졌습니다. "생각하는" 로봇들은 더 느렸고, 더 많은 컴퓨터 자원을 사용했으며, 더 많은 실수를 저질렀습니다. 이 논문은 이 특정 작업, 즉 문서의 지점을 찾는 데 있어서는 직접적인 지각이 초능력이며, "추론" 단계를 추가하는 것은 그저 방해 요소일 뿐이라고 시사합니다.

연구진은 또한 "그라운딩 다이버전스(Grounding Divergence)"라고 불리는 까다로운 현상을 발견했습니다. 그들이 초고도로 훈련된 로봇을 본 적 없는 문서(예: 금융 영수증에서 과학 차트로 전환)에 대해 테스트했을 때, 로봇은 올바른 지점을 가리키는 데는 매우 능숙해졌지만, 때때로 단어를 이해하는 능력은 약간 떨어지는 모습을 보였습니다. 이는 마치 학생이 페이지에서 정답지를 찾는 데 너무 익정해진 나머지 질문을 주의 깊게 읽는 것을 멈춘 것과 같습니다. 그러나 이 논문은 대부분의 실용적인 용도에 있어서는 가리키는 지점을 정확히 맞추는 것이 가장 중요하다는 점을 언급합니다.

마지막으로, 그들은 지름길을 찾아냈습니다. 보통 로봇에게 화려한 훈련을 시작하기 전에는 수천 개의 예시를 통해 가르쳐야 합니다. 하지만 이 팀은 이 "그냥 보기" 훈련 방식으로 아주 일찍 전환한다면, 즉 일반적인 데이터의 아주 작은 부분만을 사용해 가르친 후에도 로봇이 똑같이 잘 배울 수 있다는 것을 보여주었습니다. 그들은 65%나 적은 훈련 데이터를 사용하여 동일한 고품질의 결과를 얻어냈습니다. 따라서 핵심적인 교훈은 간단합니다. 문서를 읽고 답을 가리키는 데 있어서는, 너무 깊이 생각하지 마세요. 기계를 가르치는 가장 좋은 방법은 말을 하게 만드는 것이 아니라, 보게 만드는 것입니다.

기술 요약: 생각하지 말고, 바라보라 (Stop Thinking, Start Looking)

문제 정의

멀티모달 문서 질의응답(DocQA)은 단순히 정확한 텍스트를 생성하는 것을 넘어, 정답을 뒷받ing하는 시각적 영역을 정밀하게 국지화하는 **문서 시각적 그라운딩(Document Visual Grounding, DVG)**을 수행해야 합니다. 현재의 접근 방식들은 두 가지 주요 한계점에 직면해 있습니다:

지도 미세 조정(Supervised Fine-Tuning, SFT): 효과적이긴 하지만, SFT는 주석이 달린 데이터셋을 더 많이 확장하더라도 기하학적 정밀도 측면에서 수확 체감의 법칙이 발생하는 최적화 정체기에 도달하는 경우가 많습니다.
추론 중심 강화 학습(Reasoning-Centric Reinforcement Learning, RL): 최근의 패러다임(예: DocThinker)은 의미론적 이해와 공간적 국지화 사이를 연결하기 위해 명시적인 중간 추론 흔적(Chain-of-Thought)이 필요하다고 주장합니다. 그러나 이러한 장황한 추론 흔적은 본질적으로 지각적인 작업에 있어 명확한 실증적 이득 없이 추론 토큰 비용을 부풀리고 지연 시간을 유발합니다.

나아가, 멀티모달 환경에서의 RL 역학, 특히 추론이 진정으로 필요한지 아니면 불안정성과 불필요한 계산 오버헤드를 초래하는지에 대한 연구는 아직 미개척 영역으로 남아 있습니다.

방법론: Perception-RFT

저자들은 중간 추론 토큰을 건너뛰고 시각적 특징을 구조화된 그라운딩 출력과 직접 정렬하도록 설계된 훈련 프레임워크인 Perception-RFT를 소개합니다.

핵심 프레임워크

태스크 정식화: 태스크는 정책 $\pi_\theta$ 가 정답과 정규화된 바운딩 박스( $[x_1, y_1, x_2, y_2]$ )를 포함하는 구조화된 JSON을 출력하는 생성형 시각적 QA 문제로 정의됩니다.
직접 지각 제약(Direct Perception Constraint): 표준 RL 방식이 장황한 추론을 권장하는 것과 달리, Perception-RFT는 설명이나 중간 단계를 명시적으로 금지하는 시스템 프롬프트("설명을 포함하지 마시오... 오직 최종 유효한 JSON만 출력하시오")를 강제합니다. 이는 모델이 시각적 특징을 좌표 회귀로 직접 매핑하도록 강제합니다.
최적화 알고리즘: 이 프레임워크는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 활용합니다. 논리적 일관성을 극대화하기 위해 추론 체인을 사용하는 대신, 결합된 보상 신호에 기반하여 유효한 출력의 이점을 극대화하고 KL 발산을 통해 정책 표류를 제어합니다.

게이트형 밀집 보상 메커니즘 (Gated Dense Reward Mechanism)

중간 가이드 없이 훈련을 안정화하기 위해, 저자들은 복합 보상 함수 $R = R_{format} + R_{sem} + R_{loc}$ 를 제안합니다.

형식 일관성 ( $R_{format}$ ): 출력이 올바른 스키마를 가진 유효한 JSON인지 확인하는 이진 스위치(0 또는 1)입니다.
의미론적 정밀도 ( $R_{sem}$ ): 근접 오차에 대해 공격적으로 페널티를 부여하기 위해 이차 함수 스케일링이 적용된 평균 정규화 레벤슈타인 유사도(Average Normalized Levenshtein Similarity, ANLS)를 사용합니다.
게이트형 국지화 보상 ( $R_{loc}$ ): "절벽형(cliff-edge)" 메커니즘입니다.
- 형성 상태(Shaping State): IoU가 임계값( $\tau=0.6$ ) 미만인 경우, 부적절한 부분 중첩으로의 수렴을 방지하기 위해 보상을 $\lambda \cdot \text{IoU}$ 로 스케일링합니다.
- 성공 상태(Success State): IoU가 0.6 이상이면 보상이 1.0으로 급증하여 기하학적 안전 마진을 장려합니다.

실험 설계

본 연구는 Qwen3-VL-4B를 채택하여 다음과 같은 구성들을 비교합니다:

SFT: 약 23k개의 금융 문서 샘플에 대한 표준 지도 미세 조정.
RFTs (SFT $\to$ RL): SFT 초기화 이후 적용된 Perception-RFT.
RFTb (Cold-Start RL): 베이스 모델에 직접 적용된 Perception-RFT (SFT 없이).
Reasoning-RFTb: 동일한 RL 조건 하에서 중간 추론 흔적을 허용하는 제어된 변형 모델로, 추론의 역할을 격리하여 분석합니다.
데이터셋: 큐레이션된 금융 문서(DocILE, FormNLU)로 훈련하며, 분포 내(In-Distribution, ID) 세트와 두 개의 분포 외(Out-of-Distribution, OOD) 벤치마크인 DOGR-Bench(800개 샘플) 및 MMDocBench(4,028개 샘플)에서 평가합니다.

주요 결과

1. 추론은 불필요하며 해롭다

가장 중요한 발견은 명시적인 추론이 DVG 태스크의 RL 성능을 향상시키지 않는다는 점입니다.

성능 격차: 추론이 없는 변형(RFTb)이 ID 및 OOD 데이터셋 모두에서 추론이 활성화된 변형(Reasoning-RFTb)보다 일관되게 우수한 성능을 보입니다. 예를 들어, OOD 데이터에서 RFTb는 Reasoning-RFTb의 0.382와 비교하여 0.600의 F1all을 달성했습니다.
흔적 압축(Trace Compression): 추론이 활성화되어 있더라도 모델은 훈련 과정에서 점진적으로 추론 흔적을 압축하고 제거합니다. 수렴 시점에 평균 추론 토큰 길이는 62%(약 191개에서 72개로) 감소하며, 사실상 직접 지각 정책으로 수렴합니다.
안정성: 추론 활성화 훈련은 직접 지각 접근 방식에 비해 더 높은 분산과 덜 안정적인 수렴 양상을 보입니다.

2. RL은 SFT의 포화 상태를 돌파한다

천장 돌파: 분포 내 데이터에서 SFT는 성능 정체기(F1all = 0.668)에 도달합니다. Perception-RFT(RFTs)를 적용하면 이 천장을 깨고 F1all을 0.718로 높이며, 텍스트 추출과 국지화 모두에서 유의미한 이득을 얻습니다.
초기화의 중요성: 콜드 스타트 RL(RFTb)은 베이스 모델보다는 개선되지만 RFTs보다는 상당히 낮은 성능을 보이며, 이는 지도 초기화가 RL 하에서의 기하학적 학습을 위한 안정적인 토대를 제공함을 확인시켜 줍니다.

3. 그라운딩 발산 현상 (The Grounding Divergence Phenomenon)

저자들은 OOD 데이터에 대한 공동 RL 최적화 중에 발생하는, 이전에 규명되지 않은 트레이드오프인 그라운딩 발산을 식별했습니다.

국지화 개선: 기하학적 정밀도는 보지 못한 도메인으로 견고하게 전이됩니다 (예: DOGR-Bench 국지화가 0.416에서 0.759로 급증).
의미론적 강건성 저하: 의미론적 추출 능력은 종종 전이되지 않거나 제로샷 베이스 모델에 비해 저하됩니다.
시사점: RL은 비대칭적 일반화를 유도합니다. 즉, 전이 가능한 기하학적 패턴을 학습하는 데는 탁월하지만, 의미론적 추출에는 과적합될 수 있어 기하학적 정밀도와 의미론적 유연성 사이의 선택적 트레이드오프를 발생시킵니다.

4. 데이터 효율성

SFT에서 RL로의 조기 전환(RFTs-Early)은 전체 SFT+RL을 사용할 때와 대등한 정밀도를 달로하면서도 65% 적은 훈련 데이터를 사용합니다. 이는 RL이 조기에 도입된다면 고정밀 그라운딩을 위해 장기간의 지도 학습이 반드시 필요하지 않음을 시사합니다.

의의 및 주장

본 논문은 문서 시각적 그라운딩이 추론 매개 생성보다 시각적 특징과 공간적 출력 간의 직접적인 정렬이 더 효과적인 지각 주도적(perception-dominant) 태스크임을 확립했다고 주장합니다.

효율성: 추론 토큰을 건너뜀으로써, 이 접근 방식은 쿼리당 추론 토큰 길이를 60% 이상 줄여 더 비용 효율적이고 빠른 배포 전략을 제공합니다.
최적화 역학: 본 연구는 텍스트 도메인의 사후 훈련(SFT 포화 및 콜드 스타트 RL의 불안정성)에 대한 발견을 멀티모달 도메인으로 확장하고, 특정 "그라운딩 발산" 트레이드오프를 식별했습니다.
실무적 지침: 저자들은 DVG를 위해 모델이 "생각하지 말고, 바라보라"고 주장합니다. 최적의 정책은 명시적 추론보다는 직접적인 지각에 의존하며, 조기 SFT-to-RL 전환이 데이터 효율성과 성능 사이의 최적의 균형을 제공합니다.

본 연구는 4B 파라미터 규모에서 입증된 결과임을 명시하며 범위의 한계를 인정하고, 더 큰 모델로의 스케일링 동작은 향후 연구 과제로 남겨두었습니다. 또한, 추론이 포함된 주석 데이터의 부재로 인해 추론이 포함된 SFT $\to$ RL 파이프라인을 구축하여 추가 비교하는 데 한계가 있습니다.