1. 연구 배경 및 문제 정의 (Problem)

시각적 검색 증강 생성 (VRAG, Visual Retrieval-Augmented Generation) 은 외부 시각 문서 (이미지 기반 문서) 를 활용하여 질의에 대한 답변을 생성하는 Vision-Language Models(VLM) 의 성능을 향상시키는 프레임워크입니다. 그러나 기존 VRAG 프레임워크는 다음과 같은 한계를 가지고 있습니다.

• 경직된 외부 도구 의존성: 기존 방법들은 VLM 의 지각 능력을 확장하기 위해 미리 정의된 고정된 외부 도구 (예: 이미지 자르기, 확대 등) 에 의존합니다.
• 지각과 추론의 분리: 이러한 도구들은 시각적 지각 (Perception) 과 추론 (Reasoning) 과정을 명시적으로 분리합니다.
• 정보 손실의 위험: 특히 이미지를 자르는 (cropping) 등의 작업은 중요한 시각적 정보 (레이아웃, 맥락) 를 영구적으로 손실시킬 수 있으며, 이는 잘못된 답변이나 환각 (Hallucination) 을 유발합니다.
• 비효율적인 추론: 고정된 기계적 작업은 모델이 유연하게 시각적 세부 사항에 주의를 기울이는 것을 방해합니다.

2. 제안 방법: Lang2Act (Methodology)

이 논문은 "자가 등장하는 언어적 도구 체인 (Self-Emergent Linguistic Toolchains)" 을 통해 세밀한 시각적 추론을 가능하게 하는 Lang2Act 프레임워크를 제안합니다. 핵심 아이디어는 외부 이미지 도구를 직접 호출하는 대신, 모델이 추론 과정에서 자연스럽게 생성하는 언어적 행동 (Actions) 을 도구로 정제하여 내부화하는 것입니다.

핵심 구성 요소:

1. 언어적 도구 정제 (Linguistic Tool Curation):

   • 모델이 성공적인 추론 궤적 (Reasoning Trajectories) 을 생성하는 과정에서 나타나는 시각적 행동 (예: "텍스트 읽기", "숫자 비교하기") 을 추출합니다.
   • 이러한 행동들을 표준화된 언어적 도구 (Tool) 로 변환하여 재사용 가능한 언어적 도구 상자 (Linguistic Toolbox) 를 구축합니다.
   • 도구 예시: read_text_element, read_numeric_value, compare_values 등.

2. 2 단계 강화 학습 (RL) 기반 훈련 프레임워크:

   • 1 단계 (Action RL): 모델이 문제 해결을 위한 고품질의 시각적 행동 (Action) 을 스스로 탐색하도록 훈련합니다. 이를 통해 성공적인 추론 궤적을 기반으로 재사용 가능한 도구 모음을 생성합니다.
   • 2 단계 (Tool-based RL): 정제된 언어적 도구 상자를 활용하여 VLM 을 추가적으로 최적화합니다. 모델은 추론 과정에서 이 도구들을 언어적 프롬프트로 사용하여 시각적 증거를 추출하고, 이를 바탕으로 답변을 생성합니다.
   • 보상 함수: 최종 답변의 정확도 (rans) 와 도구 사용의 유효성/구조적 일관성 (rtool) 을 모두 고려한 보상 함수를 사용합니다.

3. 추론 구조:

   • 모델은 <description> 태그 내에서 언어적 도구를 호출하여 특정 이미지 영역을 주시하고 정보를 추출한 후, <answer> 태그에서 최종 답변을 생성합니다. 이는 이미지 자르기 없이도 세밀한 주의를 기울이게 합니다.

3. 주요 기여 (Key Contributions)

• 새로운 패러다임 제시: 외부 API 나 이미지 조작 도구에 의존하지 않고, 언어적 도구 (Linguistic Tools) 를 통해 시각적 지각과 추론을 통합하는 새로운 접근법을 제시했습니다.
• 자가 등장 메커니즘: 고정된 도구를 사용하지 않고, 모델의 추론 과정에서 자연스럽게 도구가 생성되고 정제되는 자가 등장 (Self-Emergent) 메커니즘을 도입했습니다.
• 정보 손실 방지: 이미지 자르기 (Cropping) 로 인한 맥락 손실 문제를 해결하고, 전체 문서의 레이아웃과 맥락을 유지하면서 세밀한 정보를 추출할 수 있게 했습니다.
• 강화 학습 최적화: 도구 생성 (Action Exploration) 과 도구 활용 (Tool Utilization) 을 위한 2 단계 RL 전략을 설계하여 VLM 의 시각적 추론 능력을 극대화했습니다.

4. 실험 결과 (Results)

다양한 문서 시각적 질문 답변 (Document VQA) 벤치마크 (SlideVQA, ViDoSeek, MMLongBench-Doc) 에서 Lang2Act 의 성능을 검증했습니다.

• 성능 향상: 기존 최첨단 모델 (Baselines) 대비 4% 이상의 성능 향상을 기록했습니다. 특히 도구 기반 VLM 들 (Pixel-Reasoner, VRAG-RL) 보다 약 5% 이상 높은 성능을 보였습니다.
• 시각적 지각 능력: Lang2Act 는 정답이 있는 영역 (Golden Regions) 을 더 정확하게 인식하고, 이를 기반으로 답변하는 능력이 뛰어났습니다.
• 할루시네이션 감소: 외부 이미지 조작으로 인한 정보 손실로 인한 환각 현상이 줄어들었으며, 사실적 일관성 (Factual Consistency) 과 논리적 일관성 (Coherence) 이 크게 개선되었습니다.
• 일반화 능력: 학습된 언어적 도구 상자는 다른 도메인 (테이블 문서 등) 으로도 잘 전이되었으며, 다양한 모델 크기 (3B, 7B, 32B) 에서 일관된 성능 향상을 보였습니다.
• 효율성: 이미지 자르기 등의 반복적인 외부 호출이 없어 추론 지연 (Latency) 이 감소했습니다.

5. 의의 및 결론 (Significance)

Lang2Act 는 시각적 문서 이해 분야에서 시각적 지각과 논리적 추론의 간극을 언어적 도구 체인으로 연결했다는 점에서 중요한 의미를 가집니다.

• 기술적 혁신: "이미지를 자르는 것"이 아니라 "언어로 지시하여 이미지를 읽는 것"이 더 효과적임을 증명했습니다. 이는 VLM 이 외부 도구에 의존하지 않고 내재된 추론 능력을 통해 세밀한 시각 정보를 처리할 수 있음을 보여줍니다.
• 실용적 가치: 복잡한 문서 (스ライド, 차트, 긴 문서) 에서 정확한 정보 추출이 필요한 실제 응용 분야 (금융, 의료, 법률 문서 분석 등) 에서 높은 정확도와 신뢰성을 제공할 수 있습니다.
• 미래 방향: 언어적 도구를 통한 시각적 추론의 자동화 및 최적화 가능성을 제시하여, 향후 더 복잡한 멀티모달 태스크를 해결하는 데 중요한 기반이 될 것으로 기대됩니다.

요약하자면, Lang2Act는 고정된 외부 도구의 한계를 극복하고, 모델 스스로가 학습한 언어적 도구를 통해 시각적 정보를 세밀하게 처리하고 논리적으로 추론하는 새로운 표준을 제시한 연구입니다.