기술 요약: 지각을 위해 굶주리게 하기

문제: 게으른 지각 현상

고해상도 환경에 배치된 상황 인식 에이전트로서의 시각-언어 모델 (VLM) 은 확대, 자르기, 이동과 같은 작업을 통해 어디를 볼지 동적으로 결정하는 능력이자 능동적 지각이 필요합니다. 그러나 현재 학습 패러다임 (지도 미세 조정 및 강화 학습) 은 종종 게으른 지각을 보이는 모델을 생성합니다. 이러한 모델들은 확대 명령 생성과 같이 지각 행동의 구문적 형태를 모방하지만, 그 출력에 기능적으로 의존하지는 않습니다.

근본 원인은 근본적인 학습 비대칭성에 있습니다. 거친 전역 뷰와 강력한 언어 사전 지식을 결합하는 것이 적절한 정확도를 달성하기에 충분할 때, 모델은 다단계 시각적 탐색이라는 계산적으로 더 어려운 전략에 투자할 기울기 기반 동기를 갖지 못합니다. 모델이 능동적으로 보지 않고도 성공할 수 있다면, 결코 보려고 배우지 않을 것입니다. 진단적 증거는 중간 시각 관찰을 빈 입력으로 대체하거나 도구 호출을 손상시켜도 모델 정확도가 변하지 않음을 보여줍니다. 이는 시각적 증거보다는 언어 사전 지식에 의존하고 있음을 나타냅니다.

방법론: 지각을 위해 굶주리게 하기

이를 해결하기 위해 저자들은 지각을 위해 굶주리게 하기를 제안합니다. 이는 제약된 시각 대역폭을 강제하는 학습 패러다임입니다. 핵심 메커니즘은 모든 추론 단계에서 시각 관찰을 엄격한 토큰 예산 ($B$) 으로 제한하여, 초기 전역 스냅샷을 포함한 단일 뷰가 작업을 신뢰성 있게 완료하기에 충분한 정보를 포함하지 않도록 보장합니다. 이는 능동적 지각을 성공을 위한 유일한 실행 가능한 전략으로 만듭니다.

이 프레임워크는 표준 사후 학습 파이프라인 (SFT 후 RL) 내에서 두 단계로 작동합니다:

1. 예산 인식 시각 지시 미세 조정 (SFT):

   • 목표: 토큰 제약 하에서 능동적 지각을 위한 행동적 사전 지식을 통해 정책을 부트스트랩합니다.
   • 데이터 구성: 궤적은 강한 교사 모델을 이용한 교사 모델 증류(제약 환경에서 거부 샘플링을 사용하여 생성) 및 궤적 재작성(기존 고품질 도구 사용 데이터를 뷰를 다운샘플링하고 공간 좌표를 재정렬하여 예산 인식 형식으로 변환) 을 통해 생성됩니다.
   • 제약: 시각 관찰 $v_t$는 원본 이미지의 잘린 영역에 적용된 결정론적 다운샘플링 연산자 $D(\cdot, B)$에 의해 생성되어 토큰 수가 $B$를 초과하지 않도록 보장합니다.

2. 지각적 굶주림을 통한 강화 학습:

   • 목표: 자율적 탐색을 통해 시각 관찰에 대한 진정한 기능적 의존성을 개발합니다.
   • 해상도 조건부 예산: 토큰 예산 $B$는 입력 이미지의 기본 해상도에 따라 동적으로 스케일링됩니다 ($B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$). 이는 다양한 입력 전반에 걸쳐 일관된 지각적 굶주림 압력을 유지합니다.
   • 보상 신호: 프레임워크는 최소주의적이고 희소한 보상을 활용합니다 (정답인 경우 $R=1$, 그렇지 않으면 $0$). 시각적 예산이 전역 뷰만으로는 세부 사항을 해결하는 것을 구조적으로 금지하기 때문에, 모델은 보상을 달성하기 위해 중간 초점 행동을 수행해야 합니다. 추가 손실이나 보상 설계가 필요하지 않습니다.
   • 최적화: 정책은 제약 환경 내에서 수집된 궤적에 대해 GRPO(그룹 상대 정책 최적화) 를 사용하여 최적화됩니다.

주요 기여

• 게으른 지각의 식별: 이 논문은 현재 VLM 들이 능동적 시각 작업에 진정으로 의존하지 못하는 실패를, 수동적 단축 경로가 지배하는 학습 비대칭성으로 추적하여 식별합니다.
• 지각을 위해 굶주리게 하기 패러다임: 표준 SFT 후 RL 파이프라인에 플러그인 구성 요소로 통합되는 새로운 학습 메커니즘입니다. 아키텍처 변경, 추가 손실, 복잡한 보상 설계가 필요하지 않습니다.
• 기술의 이전성: 저자들은 제약된 학습 하에서 학습된 능동적 지각 기술이 제약 없는 테스트 시간 설정으로 강력하게 이전된다는 최초의 증거를 제시합니다.
• 효율성 향상: 이 접근 방식은 단계당 처리되는 시각 토큰 수의 감소로 인해 훈련 시간을 약 50% 단축하고 추론 지연 시간을 2.7~5.1 배 줄여 상당한 효율성 이득을 가져옵니다.

결과

저자들은 Qwen2.5-VL-7B 기반의 모델을 HR-Bench, V* Bench, 지각 집약적 추론 작업 (MME-RealWorld-Lite, RealWorldQA) 등 다양한 벤치마크에서 DeepEyes, Chain-of-Focus, PixelReasoner 와 같은 강력한 베이스라인과 비교 평가했습니다.

• 제약 없는 성능: 시각 대역폭 제약 하에서만 훈련되었음에도 불구하고, 모델은 제약 없는 벤치마크에서 64.59의 전체 점수를 달성하여 가장 강력한 7B 규모 도구 증강 베이스라인 (61.77 점의 DeepEyes) 을 명확한 차이로 능가했습니다.
• 제약 내성: 엄격한 토큰 예산 ($B=256$) 하에서 제안된 모델은 제약 없는 성능 대비 0.18 점만 저하되었습니다. 반면, 시각적 제약 없이 훈련된 베이스라인은 6.96 에서 7.29 점까지 성능이 하락하여, 그들의 "능동적 지각"이 피상적이었으며 시각적 풍부함이 제거되면 붕괴되었음을 보여주었습니다.
• Ablation 연구:
  • SFT 대 RL: 예산 인식 SFT 만으로도 표준 SFT 대비 성능이 향상되었으나, 제약된 RL 과의 결합이 최상의 결과를 낳았습니다.
  • SFT 의 필요성: SFT 없이 기본 모델에서 RL 을 시작하면 정책이 "게으른" 행동 (언어 사전 지식에 의존) 으로 붕괴되어, SFT 가 필요한 행동적 사전 지식을 제공함을 확인했습니다.
  • 제약의 필요성: 시각적 제약 없이 훈련된 RL(초기화로서 SFT 포함) 은 완전히 제약된 파이프라인에 비해 낮은 능동적 지각 비율과 낮은 최종 정확도를 보였습니다.

의의

이 논문은 우수한 시각적 추론이 입력 밀도에서 비롯되는 것이 아니라 정보를 효율적으로 추출하기 위한 최적화 압력에서 비롯된다고 주장합니다. 훈련 중 수동적 관찰을 구조적으로 사용할 수 없게 함으로써, 모델은 지역적 시각 단서와 작업 성공 사이의 기능적 의존성을 내면화하도록 강요받습니다. 이 패러다임은 능동적 지각을 선택적 향상에서 기초 능력으로 전환시켜, 성능을 희생하지 않고도 고해상도 환경에서 컴퓨팅 제약 환경 (예: 온디바이스 애플리케이션) 에 견고하고 효율적인 시각 에이전트를 배포할 수 있게 합니다. 이 연구는 시각적 대역폭을 시각-언어 에이전트를 구축하기 위한 의도적인 설계 변수로 취급해야 함을 시사합니다.