기술 요약: 시각적 근거 추론을 위한 지각 흐름 네트워크 (Perceptual Flow Network)

문제 제기

대형 시각 - 언어 모델 (LVLM) 은 다양한 시각 작업에서 뛰어난 성능을 달성했으나, 특히 복잡하고 세밀한 시나리오에서 환각 현상과 해석 가능성 부족으로 여전히 고통받고 있습니다. 최근 접근법들은 강화 학습을 통한 검증 가능한 보상 (RLVR) 을 통해 객체 탐지기 (GroundingDINO 등) 와 같은 시각 전문가로부터 기하학적 사전 지식을 증류함으로써 이를 완화하려 시도하지만, 저자들은 비최적의 감독 (suboptimal supervision) 이라는 결정적인 한계를 지적합니다.

본 논문은 시각 전문가들이 엄격한 기하학적 정밀도 (위치 파악) 를 위해 최적화되는 반면, LVLM 은 추론 유용성이 필요하다고 주장합니다. LVLM 의 추론 궤적을 이러한 전문가 사전 지식과 경직되게 정렬하는 것은 '터널 시야 (tunnel vision)' 효과를 유발하여 필요한 문맥을 배제하고 추론 성능을 저하시킵니다. 예비 연구들은 가장 기하학적으로 정밀한 사전 지식 (전문가 주석) 이 반드시 추론에 가장 도움이 되는 것은 아니며, '황금 (golden)' 증거를 근사하기 위한 휴리스틱 변환은 인스턴스별 변이성으로 인해 계산적으로 불가능함을 보여줍니다.

방법론: 지각 흐름 네트워크 (PFlowNet)

PFlowNet 은 정적인 기하학적 사전 지식에 경직되게 정렬하지 않고, 해석 가능하고 자기 조건부 (self-conditioned) 시각 추론을 달성하기 위해 지각과 추론을 분리하는 프레임워크를 제안합니다. 핵심 혁신은 시각적 사고를 명확히 하는 구조화된 잠재 궤적인 지각 흐름 (Perceptual Flow) 입니다.

1. 지각 흐름 공식화

모델은 다음으로 구성된 구조화된 궤적 $Z = (z_0 \to z_1 \dots z_K)$ 을 생성합니다:

• 계획 상태 ($z_0$): 쿼리를 분해하고 관련 시각적 후보를 식별하는 언어 시퀀스 (<analyze> 와 </analyze> 로 감싸짐).
• 지각 상태 ($z_{\ge 1}$): 각 상태 $z_k$ 가 관심 영역 (RoI) $r_k$ 와 설명 캡션 $c_k$ 로 구성된, 주석된 관찰의 사슬 (<localize> 와 </localize> 로 감싸짐).

2. 분리된 프레임워크

PFlowNet 은 지각 행동의 최적화와 추론 과정을 분리합니다. 이상적인 지각 행동의 사후 확률을 근사하기 위해 자기 파라미터화된 변분 분포 $p_\theta(Z|X)$ 를 사용합니다. 결합 분포는 다음과 같이 분해됩니다:
$$p_\theta(Y, Z | X) = p_\theta(Z | X) p_\theta(Y | Z, \langle X, I_{RoI} \rangle)$$
이를 통해 모델은 지각 흐름 $Z$ 를 샘플링한 후, 해당 흐름과 확대된 시각 특징을 문맥으로 사용하여 최종 답변 $Y$ 에 대해 자기 조건부 자기회귀 생성을 수행합니다.

3. 변분 강화 미세 조정 (Variational Reinforcement Fine-Tuning, RFT)

변분 분포를 최적화하기 위해 PFlowNet 은 부분 궤적 균형 (Sub-Trajectory Balance, SubTB) 에서 파생된 계층적 목적 함수에 기반한 변분 RFT 전략을 도입합니다. 이는 다양한 지각 행동을 촉진하기 위해 밀집된 중간 감독을 제공합니다. 목적 함수는 다차원 보상 함수와 근접 기하학적 형성 (vicinal geometric shaping) 계획에 의해 정제됩니다:

• 다차원 보상 ($R$): 품질 (Quality) 과 효율성 (Efficacy) 을 결합합니다.
  • 품질: 캡션이 주변 문맥 ($I \setminus I_{r_i}$) 이 아닌 확대된 증거 ($I_{r_i}$) 에 의미적으로 구체적이도록 장려하는 대비 항 $p^+_\phi(z_i) / p^-_\phi(z_i)$ 로, 특권 정보를 효과적으로 증류합니다.
  • 효율성: 흐름이 목표 응답 $Y$ 를 유도하는 데 제공하는 정보 이득을 측정하며, $\log p_\phi(Y | Z, X)$ 를 최대화합니다.
• 근접 기하학적 형성: 비효율적인 영역으로의 과도한 탐색을 방지하면서도 엄격한 전문가 정렬의 편향을 피하기 위해, 보상은 에너지 항 $\omega_\lambda$ 로 가중됩니다. 이 항은 전문가 사전 지식 $E$ (Chamfer-IoU 거리 $\varepsilon$ 로 정의됨) 에서 크게 벗어난 궤적을 벌칙하지만, "근접 영역" $B_\varepsilon(E)$ 내의 탐색은 허용합니다. 이는 시각적 신뢰성과 추론 지향적 탐색 사이의 균형을 맞춥니다.

4. 학습 파이프라인

• 데이터 선별: 유도 편향을 완화하기 위해 무작위로 확장된 RoI 를 가진 데이터에 교사 모델 (예: GPT-4o, Gemini) 을 사용하여 세밀한 궤적을 합성하는 파이프라인.
• 콜드 스타트: 지각 흐름을 생성하도록 정책을 초기화하기 위한 지도 미세 조정 (SFT).
• RFT: 유도된 목적 함수와 보상 형성을 사용하여 정책을 최적화하는 변분 강화 미세 조정.

주요 기여

1. 지각 흐름 네트워크 (PFlowNet): 지각과 추론을 분리하고, 구조화된 잠재 궤적 (지각 흐름) 을 활용하여 자기 조건부 해석 가능 시각 추론을 가능하게 하는 새로운 프레임워크.
2. 변분 강화 미세 조정: 다차원 보상 (품질 + 효율성) 과 근접 기하학적 형성을 통합하는 학습 전략. 이 접근법은 경직된 전문가 정렬의 비최적 편향을 피하면서도 시각적 신뢰성을 보장합니다.
3. 이론적 보장: 논문은 증명 가능한 성능 보장을 확립하는 이론적 분석을 제공합니다. 특정 조건 하에서 PFlowNet 의 목표 사후 확률에 대한 총변동 (TV) 거리 상한이 표준 최대우도 추정 (MLE) 과 전문가 유도 RLVR 보다 엄격하게 더 좁음을 보여줍니다 (정리 3.1 및 3.4).
4. 경험적 우위: 광범위한 실험을 통해 PFlowNet 이 여러 벤치마크, 특히 세밀하고 추론이 많은 작업에서 새로운 최첨단 (SOTA) 기록을 수립함을 입증했습니다.

실험 결과

15 개 벤치마크에서 평가된 PFlowNet(Qwen3-VL-8B 에서 초기화) 은 다음과 같은 유의미한 개선을 보여줍니다:

• 일반 성능: 기본 모델 대비 TreeBench 에서 10.4%, MME-RealWorld-Lite 에서 18.4% 향상.
• 세밀한 작업: V Bench(90.6%)*, HR-Bench, ScreenSpot에서 새로운 SOTA 기록 수립. 일반 LVLM 과 전문화된 근거 추론 모델 (예: TreeVGR, DeepEyes) 을 모두 능가함.
• 효율성: 2 단계 프로세스임에도 불구하고, 높은 지연 시간을 겪는 에이전트 프레임워크와 결합된 지각 - 추론 모델에 비해 우수한 성능 - 효율성 균형을 달성.
• 테스트 시간 확장: 샘플링 예산이 증가해도 미미한 증가만 보이는 모드 붕괴를 보이는 경직된 RLVR 방법과 달리, PFlowNet 은 다양한 근거 분포로 인해 견고한 테스트 시간 확장 능력을 보여줍니다.

중요성과 주장

본 논문은 PFlowNet 이 시각 전문가 (기하학적 정밀도) 와 LVLM(추론 유용성) 의 설계 원칙 간의 근본적인 불일치를 해결한다고 주장합니다. 근접 기하학적 형성과 추론 지향적 보상에 의해 안내되는 자기 조건부 생성 과정을 경직된 정렬 대신 채택함으로써, PFlowNet 은 다음과 같은 성과를 달성합니다:

• 해석 가능성: 구조화된 흐름이 시각적 증거에 추론을 명시적으로 고정합니다.
• 신뢰성: 근접 형성은 모델이 무효 환각으로 벗어나지 않으면서 효과적인 행동을 탐색하도록 보장합니다.
• 확장성: 이 프레임워크는 다양한 모델 규모 (4B~32B) 에서 효과적임이 입증되었으며, 기존 베이스라인에 대한 증명 가능한 이론적 개선을 제공합니다.

저자들은 PFlowNet 이 정밀한 시각적 근거와 복잡한 추론 작업에 필요한 유연성 사이의 균형을 맞추는 견고한 시각적 근거 추론 솔루션을 제공한다고 결론지었습니다.