기술 요약: PERIA – 공간 추론을 위한 도구 증강 시각 에이전트 구축

문제 정의

최근의 시각-언어 모델(VLM)은 강력한 멀티모달 이해력을 보여주었으나, 능동적인 증거 수집과 다단계 시각적 상호작용이 필요한 공간 추론 작업에서는 여전히 한계를 보이고 있습니다. 지하철 노선도 추론, 시각적 탐색, 시각적 재구성 등과 같은 작업들은 정적인 시각 표현에 대한 추론 그 이상을 요구합니다. 이러한 작업들은 미세한 증거를 근거로 삼고, 작업 관련 세부 정보를 추출하며, 중간 단계를 거쳐 공간적 관계를 추론하는 능력을 필요로 합니다.

기존의 도구 증강 VLM은 명시적인 증거로부터 답을 도출하는 구조화된 작업(예: 차트 이해)에서는 유망한 모습을 보입니다. 그러나 복잡한 공간 작업에서는 다음과 같은 이유로 실패하는 경우가 많습니다:

1. 전역적 지각 능력 부족: 국소적인 시각적 세부 사항을 놓치거나 전역적인 공간 구조를 복착하는 데 실패합니다.
2. 도구 사용의 격차 (Tool-Use Gap): 단순히 시각적 도구에 대한 접근 권한을 제공하는 것만으로는 숙련된 사용을 보장할 수 없습니다. 오픈 소스 VLM은 전용 학습 없이 가공되지 않은 도구 접근 권한만 주어질 경우 성능이 저하되는 경향이 있으며, 적절한 도구를 선택하거나, 올바르게 호출하거나, 피드백을 효과적으로 통합하는 데 실패합니다.
3. 학습의 한계: 기존 방법들은 제한된 도구 공간이나 도메인 특화 데이터를 사용하는 경우가 많아, 일반적인 공간 추론을 위해 지각 및 상호작용 도구를 조합할 수 있는 통합된 정책이 부족합니다.

방법론: PERIA

저자들은 도구를 보유하는 것과 이를 효과적으로 사용하는 것 사이의 간극을 메우기 위해 설계된 도구 증강 시각 에이전트인 **PERIA(PERception-Interaction-reason Agent)**를 소개합니다. PERIA는 시각적 문제 해결을 지각(Perceive)(전역적 공간 증거 수집), 상호작용(Interact)(미세한 국소 분석 및 검증 수행), 추론(Reason)(관찰 내용을 종합하여 답 도출)이라는 통합된 3단계 프로세스로 구성합니다.

1. 도구 샌드박스 (Tool Sandbox)

PERIA는 두 가지 상호 보완적인 제품군으로 나뉘는 18개의 도구로 구성된 모듈형 도구 샌드박스 내에서 작동합니다.

• 시각 지각 도구 (Vision Perception Tools): 텍스트, 기호 및 공간적 증거를 노출하도록 설계되었습니다. 예로는 text_spotting, map_text_ocr, grounding_dino(객체 탐지용), auto_segment 등이 있습니다. 이 도구들은 이미지를 구조화된 관찰 값(좌표, 텍스트, 바운딩 박스)으로 변환합니다.
• 시각 상호작용 도구 (Vision Interaction Tools): 시각적 컨텍스트를 조작하고, 경로를 추적하며, 공간적 관계를 검증하도록 설계되었습니다. 예로는 image_crop, draw_path, bounding_box, image_highlight 등이 있습니다. 이 도구들은 에이전트가 이미지 상에서 확대하거나, 주석을 달거나, 경로를 추사할 수 있게 합니다.

2. 학습 파이프라인

PERIA의 학습은 세 가지 뚜렷한 단계로 진행됩니다.

• 단계 A: 도구 샌드박스 구축: 유연한 도구 호출을 지원하기 위해 함수 기반 유틸리티와 경량 도구 에이전트(예: PaddleOCR-VL, Grounding DINO, SAM3)를 갖춘 환경을 구축합니다.
• 단계 B: 지도 미세 조정(SFT) 궤적 합성:
  • 독점 모델(GPT-5)을 사용하여 탐색 및 활용(explore-and-exploit) 전략을 통해 고품질의 실행 가능한 도구 사용 궤적을 생성합니다.
  • 이 과정은 정답을 찾거나 턴 제한에 도달할 때까지 추론-행동 접두사를 확장하는 과정을 포함합니다.
  • 전문가급 오픈 웨이트 모델(Qwen3-VL-235B)을 사용하여 도구 호출과 관찰 값은 고정시킨 채 중간 추론 스타일(생각)을 다양화함으로써, SFT를 위한 다양한 데이터셋을 생성합니다.
• 단계 C: OR-GIGPO를 이용한 강화 학습:
  • 다단계 도구 사용을 최적화하기 위해 저자들은 **관찰 완화 그룹 내 그룹 정책 최적화(Observation-Relaxed Group-in-Group Policy Optimization, OR-GIGPO)**를 제안합니다.
  • 동기: 표준 Group-in-Group Policy Optimization(GIGPO)은 정확한 상태 매칭에 의존합니다. 시각적 도구 사용에서는 의미적으로 동일한 도구 호출이라도 약간씩 다른 관찰 결과(예: OCR 텍스트의 변이)를 반환할 수 있어, 정확한 매칭은 너무 제한적입니다.
  • 메커니즘: OR-GIGPO는 정확한 상태 매칭 대신 관찰 완화 매칭을 사용합니다. 롤아웃을 작업 입력별로 그룹화하고, 단계별 어드밴티지 계산을 위해 완화된 앵커 그룹을 사용하며, 동일한 값이 아닌 의미적으로 유사한 관찰 값을 (문자열 유사도 지표를 사용하여) 매칭합니다.
  • 크레딧 할당 (Credit Assignment): 이 알고리즘은 에피소드 수준의 어드밴티지(궤적 품질)와 단계 수준의 어드밴티지(국소적 도구 결정 품질)를 결합하여 다단계 궤적 전반에 걸쳐 크레딧을 할당합니다.
  • 보상 설계: 복합 보상 함수는 반복에 대한 페널티, 유효한 도구 사용 태그에 대한 포맷 보상, 그리고 정답 여부에 대한 정답 보상(QA의 경우 이진, 경로 추적의 경우 연속적인 NDTW 기반)을 포함합니다.

주요 기여

1. 통합 프레임워크: 다양한 공간 작업 전반에서 추론, 계획 및 검증을 위해 지각 및 상호작용 도구를 통합하는 도구 증강 시각 에이전트를 위한 일반 프레임워크인 PERIA를 도입했습니다.
2. 다양한 도구 세트 및 궤적 합성: 전문화된 지각-상호작용 도구 세트를 개발하고, 신뢰할 수 있는 도구 호출을 가능하게 하는 고품질의 다양한 궤적 데이터셋을 합성하여 지도 미세 조정을 수행했습니다.
3. OR-GIGPO 알고리즘: 시각적 도구 관찰의 가변성을 처리하여 다단계 도구 사용을 위한 효과적인 미세 크레딧 할당을 가능하게 하는 새로운 강화 학습 방법인 관찰 완화 그룹 내 그룹 정책 최적화를 제안했습니다.
4. 실증적 검증: PERIA-8B가 강력한 베이스라인을 크게 능가하며 훨씬 더 큰 규모의 독점 모델 성능에 근접함을 입증했습니다.

실험 결과

저자들은 13개의 벤치마크와 8개의 데이터셋을 통해 PERIA-8B를 평가하였으며, 여기에는 인-디스트리뷰션(MapTrace, ReasonMap, Visual Probing) 및 아웃-오브-디스트리뷰션(Ball Tracking, Paper Folding, Cube 3-View 등) 작업이 모두 포함되었습니다.

• 성능 향상: PERIA-8B는 인-디스트리뷰션 벤치마크에서 Qwen3-8B 백본 대비 10.0%, 아웃-오브-디스트리뷰션 벤치마크에서 4.4% 개선된 성능을 보였습니다.
• SOTA와의 비교: 유사한 크기의 기존 최첨단(SOTA) 베이스라인(예: VTool-R1, Mini-o3)보다 7.0%~14.8% 높은 성능을 기록했습니다.
• 스케일링: PERIA-8B는 Qwen3-VL-235B-A22B-Thinking 및 GPT-5와 같이 훨씬 더 큰 모델들과 대등한 성능을 달s합니다.
• 절제 연구 (Ablation Studies):
  • OR-GIGPO: RL을 제거했을 때(w/o RL) 성능이 크게 하락하며(인-디스트리뷰션 평균 -7.2%), OR-GIGPO가 다른 RL 알고리즘(GRPO, DAPO)보다 우수함을 보였습니다.
  • 도구 접근성: 도구를 제거했을 때(w/o Tool) 성능 불균형과 특정 공간 도메인에서의 치명적인 망각 현상이 발생했습니다.
  • SFT: SFT 없이 RL로 직접 학습했을 때(w/o SFT) 성능이 저조하여, 지도된 궤적 합성의 필요성을 입증했습니다.
  • 도구 유형: 지각 도구와 상호작용 도구 모두 필수적이며, 어느 하나라도 제거하면 성능이 저하됩니다.

의의 및 주장

본 논문은 학습된 시각적 도구 사용이 유능한 공간 추론 에이전트를 구축하는 데 있어 핵심적인 방향임을 주장합니다. 핵심 통찰은 "도구를 보유하는 것"과 "도구를 사용하는 것" 사이의 격차가 정책 학습(policy-learning)의 문제라는 점입니다. 다양한 도구 세트와 통합된 학습 레시피(SFT + OR-GIGPO)를 결합함으로써, PERIA는 에이전트가 다음을 수행할 수 있게 합니다:

• 전역적 공간 증거를 획득합니다.
• 미세한 국소 검증을 수행합니다.
• 누적된 관찰 내용을 바탕로 추론하여 복잡한 공간 작업을 해결합니다.

저자들은 자신들의 접근 방식이 8B 규모의 작은 모델이 훨씬 더 큰 규모의 독점 모델과 경쟁할 수 있게 함으로써, 효과적인 도구 사용 학습이 단순한 백본 스케일링 이상의 이득을 줄 수 있음을 강조합니다. 또한, 계산상의 제약으로 인한 8B 모델 중심의 연구와 현재의 10턴 상호작용 제한 등의 한계를 인정하며, 향후 3D 추론, 체화된(embodied) 작업 및 더 큰 궤적 데이터셋으로 확장하는 것을 향후 과제로 제시합니다.