기술 요약: CFPO: 멀티모달 추론을 위한 역사실적 정책 최적화 (Counterfactual Policy Optimization)

1. 문제 정의

대규모 시각-언어 모델(LVLMs)은 멀티모달 추론 분야에서 상당한 진전을 이루었으나, 기존의 강화 학습(RL) 패러다임(예: PPO, GRPO)은 근본적인 불일치 문제를 안고 있습니다. 이러한 방법들은 주로 결과의 정답 여부에 초점을 맞추어 최적화하며, 최종 답변에 기반하여 모델에 보상을 부여합니다. 인과 관계의 관점에서 볼 때, 이러한 결과 중심적 접근 방식은 추론 과정 중 교차 모달(cross-modal) 인과 일관성을 강제하지 못합니다. 결과적으로 모델은 "지름길 학습(shortcut learning)"에 빠지기 쉬우며, 이는 세 가지 구체적인 교차 모달 돌출성(saliency)의 병리적 분포로 나타납니다:

1. 교차 모달 돌출성 결핍 (Cross-Modal Saliency Deficiency): 모델이 시각적 증거를 무시하고, LLM 백본의 파라미터 지식(언어적 사전 지식)에 의존하여 답을 "추측"합니다. 이는 추론 과정을 억지로 끼워 맞추기 위해 존재하지 않는 시각적 개체를 환각(hallucinating)하는 현상으로 나타납니다.
2. 교차 모달 돌출성 불일치 (Cross-Modal Saliency Misalignment): 모델이 지각적으로는 두드러지지만 의미론적으로는 무관한 시각적 단서에 주의를 기울이거나, 고차원 개념과 미세한 픽셀 간의 정렬에 실패하여, 모호한 특징과 환각된 텍스트 사이에 잘못된 인과 관계를 형성합니다.
3. 교차 모달 돌출성 관성 (Cross-Modal Saliency Inertia): 모델이 시각적 증거에 올바르게 주의를 기울이지만, 이를 불변의 닻(anchor)으로 취급합니다. 즉, 가설적인 지시(예: "만약 ~라면 어떨까?")에 대응하여 추론을 업데이트하지 못하며, 정적인 시각적 사실이 논리적 인과 개입보다 우선하게 만듭니다.

기존의 역사실적(counterfactual) 접근 방식은 대개 추론 시점의 개입(이중 계산 오버헤드 발생)이나 노동 집약적인 감독이 필요한 데이터 기반 정렬에 의존합니다. 외부 보상 모델 없이 인과 검증을 최적화 루프 내에 직접 내재화할 수 있는 견고한 솔루션이 부족한 실정입니다.

2. 방법론: 역사실적 정책 최적화 (CFPO)

저자들은 교차 모달 역사실적 개입(Cross-Modal Counterfactual Intervention) 메커니즘을 정책 업데이트 루프에 직접 통합하여 인과 일관성을 강제하는 역사실적 정책 최적화 (CFPO) 프레임워크를 제안합니다. CFPO는 표준 RL 알고리즘과 호환되도록 설계되었으며, 여기서는 특히 그룹 상대적 정책 최적화 (GRPO) 및 **분리된 클립 및 동적 샘플링 정책 최적화 (DAPO)**와 함께 시연되었습니다.

핵심 메커니즘

이 방법은 LVLM의 언어 디코더 내 멀티 헤드 어텐션(Multi-Head Attention) 레이어에서 작동합니다. 저자들은 어텐션 출력($Z$)이 입력과 생성된 응답 사이의 인과적 매개체 역할을 하는 **역사실적 인과 그래프(Counterfactual Causal Graph)**를 구축합니다.

1. 어텐션 행렬 분해 (Attention Matrix Decomposition):
   어텐션 행렬 $A$는 **고돌출 영역($A_{H-sal}$)**과 **저돌출 영역($A_{L-sal}$)**으로 분해됩니다. 고돌출 영역은 텍스트 쿼리 토큰이 이미지 토큰에 유의미하게 주의를 기울이는 이상치(outliers, 어텐션 점수가 $\mu + 2\sigma$를 초과하는 경우)로 통계적으로 식별됩니다.

2. 역사실적 경로 구축 (Counterfactual Path Construction):
   고돌출 영역에 해당하는 가치 벡터($V$)에 개입함으로써 역사실적 경로를 생성합니다. 원래의 시각적 특징을 사용하는 대신, 모델은 이 값들을 비정보적 사전 확률(해당 레이어의 모든 이미지 토큰의 평균값)으로 대체합니다.

   • 사실적 경로 (Factual Path): $Z = A_{L-sal} \cdot V + A_{H-sal} \cdot V$ (표준 순전파).
   • 역사실적 경로 (Counterfactual Path): $Z_{cf} = A_{L-sal} \cdot V + A_{H-sal} \cdot \bar{V}$ (여기서 $\bar{V}$는 평균 사전 확률).

   이 개입은 결정적인 시각적 단서를 효과적으로 억제하여, 모델이 주로 언어적 사전 지식과 저돌출 컨텍스트를 바탕으로 응답을 생성하도록 강제합니다.

3. 역사실적 정규화 목적 함수 (Counterfactual Regularization Objective):
   프레임워크는 RL 목적 함수에 역사실적 정규화 항($KL_{cf}$)을 도입합니다. 이 항은 사실적 정책 $\pi_\theta(o|Z)$와 역사실적 정책 $\pi_{cf}(o|do(Z=Z_{cf}))$ 사이의 발산(divergence)을 측정합니다.

   • 목적은 사실적 상태와 역사실적 상태 사이의 로그 가능도 차이($\Delta_{cf}$)인 **유효 인과 기여도(Effective Causal Contribution)**를 최대화하는 것입니다.
   • 만약 시각적 단서가 억제되었을 때 모델의 예측이 변하지 않는다면(즉, $\Delta_{cf} \approx 0$), 이는 모델이 언어적 사전 지식에 의존하고 있음을 의미합니다. 정규화 항은 이러한 동작을 처벌하여, 모델이 시각적 증거로부터 얻은 정보 이득을 최대화하도록 강제합니다.

전체 목적 함수는 다음과 같이 GRPO/DAPO에 정규화를 통합합니다:
$$J_{CFPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^{G} (\hat{J}_{clip} - \beta KL_{ref} + \gamma KL_{cf} - \eta Ent) \right]$$
여기서 $\gamma$는 역사실적 정규화의 강도를 조절합니다.

3. 주요 기여

• 새로운 프레임워크: RL 훈련 루프 내에서 교차 모달 역사실적 강화 메커니즘을 통해 시각적 지각과 텍스트 추론 간의 인과 일관성을 강제하는 최초의 프레임워크인 CFPO를 도입했습니다.
• 인과 개입 메커니즘: 어텐션 출력 수준에서 고돌출 시각 영역을 억제함으로써 동적 인과 필요성 테스트를 수행하고, 시각적 증거 대 언어적 사전 지식에 대한 모델의 의존도를 정량화하는 방법을 제시했습니다.
• SOTA RL와의 통합: 외부 보상 모델이나 추가적인 감독, 추론 시점의 오버헤드 없이 GRPO 및 DAPO와 원활하게 통합됩니다.
• 병리적 분포 해결: 환각 및 그라운딩 실패의 근본 원인으로 식별된 돌출성 결핍, 불일치 및 관성을 명시적으로 타겟팅하고 완화합니다.

4. 실험 결과

ViRL39K에서 학습을 진행하였으며, 실세계 중심(RealWorld-Centric) (C-VQA-Real, MARS-Bench, POPE, TextVQA, MMMU-Pro(V)) 및 수학 중심(Mathematic-Centric) (Geo3k, We-Math, MMk12, MathVerse, LogicVista) 벤치마크를 통해 평가를 실시했습니다.

• 성능 향상: CFPO는 표준 RL 베이스라인(GRPO/DAPO) 및 최신 지각 인식 방법(PAPO)보다 일관되게 우수한 성능을 보였습니다.
  • vs. GRPO/DAPO: 전체 정확도에서 **3.17% ~ 6.25%**의 일관된 향상을 달お성했습니다.
  • vs. PAPO: 지각 인식 베이스라인 대비 **1.32% ~ 2.13%**의 일관된 향상을 달성했습니다.
• 구체적 개선 사항: 수학적 추론 및 기하학적 문제 해결과 같이 엄격한 논리와 복잡한 사고 사슬(CoT) 생성이 필요한 작업에서 주목할 만한 개선이 관찰되었습니다.
• 안정성 및 효율성: 학습 곡선은 CFPO가 베이스라인에 비해 더 빠른 수렴과 높은 샘플 효율성을 달성함을 보여줍니다. 또한, 다양한 도메인에서 낮은 분산을 가지며 더 높은 추론 안정성을 입증했습니다.
• 정성적 분석: 사례 연구를 통해 CFPO가 베이스라인이 시각적 기하 구조를 무시하거나(결핍), 가설적 지시에 따른 탈동기화에 실패하거나(관성), 혹은 두드러진 방해 요소에 의해 휘둘리는(불일치) 실패 모드를 성공적으로 수정함을 보여주었습니다.

5. 의의 및 주장

본 논문은 CFPO가 인과적으로 일관된 멀티모달 지능을 향한 원칙적인 경로를 제공한다고 주장합니다. 인과 검증을 내재화함으로써, 이 방법은 단순한 연합 학습(associative learning)을 넘어 주의를 기울인 정보의 필요성을 명시적으로 검증하는 단계로 나아갑니다.

저자들은 CFPO가 **추론 충실도(reasoning fidelity)**를 크게 향고하여 환각을 줄이고 LVLM의 강건성과 해석 가능성을 높인다고 단언합니다. 모달리티를 암묵적으로 정렬하거나 거친 입력 마스킹에 의존하는 기존 방법들과 달리, CFPO는 추론 과정이 유효한 시각적 증거에 기반한다는 엄격한 인과적 보증을 제공합니다. 이 접근 방식은 현재의 결과 중심적 RL 패러다임에 내재된 "지름길 학습"을 극복하기 위해 인과적 일관성을 강제하는 것이 필수적임을 입증합니다.