기술 요약: MARS – 다중 소스 시각 추론을 위한 단일 앵커 우대 정규화

문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 이 시각 추론을 발전시켰지만, 기존 방법들은 다중 소스 입력 (예: RGB, 적외선, 깊이, 다중 뷰) 을 처리할 때 어려움을 겪습니다. 현재 접근법들은 일반적으로 다중 소스 데이터를 정보의 단순한 누적으로 간주하며, "더 많이 보면 더 많이 안다"는 가정을 기반으로 작동합니다. 그러나 본 논문은 물리적 속성과 의미론적 측면에서 소스 간에 현저한 차이가 있을 때, 단순한 통합은 정보 획득 대신 간섭이나 노이즈를 초래할 수 있다는 중요한 한계를 지적합니다.

한 소스가 지배적이고 신뢰할 수 있는 신호를 보유하고 있는 반면 (예: 저조도 조건에서의 적외선), 다른 소스들은 열화되었거나 관련이 없는 상황에서는 표준 RLVR 프레임워크가 유익한 융합과 해로운 충돌을 구분하지 못해 실패하는 경우가 많습니다. 결과적으로 다중 소스 추론 성능은 강력한 단일 소스 추론 수준 이하로 저하될 수 있습니다. 기존 프레임워크들은 소스 간의 동적 상호작용을 모델링하거나, 단일 소스 기준에 비해 추가 소스를 통합하는 것이 긍정적인 정보 획득을 가져오는지 정량화할 수 있는 명시적 메커니즘이 부족합니다.

방법론: MARS

이러한 과제를 해결하기 위해 저자들은 MARS(다중 소스 추론을 위한 단일 앵커 우대 정규화) 를 제안합니다. 이 프레임워크는 각 시각 모달리티를 독립적인 정보 소스로 간주하고, 다중 소스 융합이 가져오는 정보 획득을 명시적으로 모델링합니다.

핵심 메커니즘

MARS 의 핵심 혁신은 RLVR 훈련 중 다중 소스 롤아웃의 우대 (advantage) 를 정규화하기 위해 단일 소스 보상을 동적 앵커로 사용하는 것입니다.

1. 이중 롤아웃 생성: 주어진 훈련 인스턴스 (질문 $q$ 및 여러 이미지 $i$) 에 대해 정책 모델 $\pi_\theta$ 는 두 가지 유형의 궤적을 생성합니다.

   • 다중 소스 롤아웃 ($G_{multi}$): 모델이 사용 가능한 모든 이미지를 함께 처리합니다.
   • 단일 소스 롤아웃 ($G_{mono}$): 모델이 텍스트 입력과 짝지어진 각 이미지를 개별적으로 처리합니다.

2. 하이브리드 우대 정규화: 다중 소스 궤적에서만 우대 통계를 계산하는 대신, MARS 는 단일 소스 및 다중 소스 보상 ($G_{multi} \cup G_{mono}$) 의 합집합을 사용하여 하이브리드 평균과 표준 편차를 계산합니다. 다중 소스 궤적에 대한 우대 $A_j$ 는 다음과 같이 계산됩니다:
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{mean}(G_{multi} \cup G_{mono})}{\text{std}(G_{multi} \cup G_{mono})}$$

3. 적응형 규제:

   • 충돌 억제: 특정 소스가 지배적이고 다중 소스 융합이 노이즈를 도입하여 (단일 소스 앵커보다 낮은 보상을 초래하여) 단일 소스 앵커보다 낮은 보상을 초래할 경우, 정규화 통계가 충돌하는 다중 소스 신호를 억제하도록 이동하여 모델을 신뢰할 수 있는 단일 소스 행동으로 유도합니다.
   • 촉진 강조: 다중 소스 융합이 단일 소스 기준보다 높은 보상을 산출할 경우 (진정한 정보 획득을 나타냄), 알고리즘은 단일 소스 단서를 넘어선 탐색을 장려하여 "다중 소스 정보 획득"을 효과적으로 정량화합니다.

이론적 기반

저자들은 이 방법을 뒷받침하기 위해 이론적 분석을 제공합니다:

• 불편성 (Unbiasedness): 제안된 알고리즘은 기울기 추정의 기대값이 표준 온-정책 (on-policy) 최적화와 동일하게 유지되도록 보장하여 편향이 도입되지 않도록 합니다.
• 기울기 분해: 기울기 업데이트는 표준 다중 소스 보상을 최대화하는 것과 다중 소스 정보 획득($\Delta IG$) 을 기반으로 하는 정규화 항을 최대화하는 것이 동등함이 입증되었습니다. 이 항은 다중 소스 및 단일 소스 궤적의 기대 보상 간의 차이를 나타냅니다. 음의 $\Delta IG$ 는 모달리티 충돌을 나타내고, 양의 값은 상호 촉진을 나타냅니다.

주요 기여

1. 핵심 한계의 식별: 본 논문은 기존 다중 소스 시각 추론이 모델링되지 않은 모달리티 간섭으로 인해 성능이 체계적으로 저하될 수 있음을 밝혀냈으며, 더 많은 입력이 항상 더 나은 지식과 같다는 가정에 도전합니다.
2. 새로운 프레임워크 (MARS): 저자들은 단일 소스 보상을 앵커로 도입하여 우대 정규화 중 정보 획득을 정량적으로 측정하는 방법을 설계했습니다. 이는 아키텍처 재설계나 오프-정책 수정 없이 다양한 소스의 적응형 규제를 가능하게 합니다.
3. 실증적 검증: 다양한 데이터셋 (깊이, 적외선, 다중 뷰, 텍스트 풍부) 과 RL 알고리즘 (GRPO, DAPO) 에 대한 광범위한 실험을 통해 일관된 성능 향상을 입증했습니다.

실험 결과

저자들은 Qwen2.5-VL-3B 및 7B 모델을 사용하여 네 가지 다중 소스 작업에서 MARS 를 평가했습니다. 주요 발견 사항은 다음과 같습니다:

• 성능 향상: MARS 는 기준 RLVR 방법 대비 상당한 개선을 달성했습니다. 구체적으로 다중 소스 추론 지표에서 GRPO 및 DAPO 프레임워크를 통해 각각 평균 3.2% 및 4.9% 의 성능 향상을 보였습니다.
• 구체적 작업 개선: 적외선 (3.8%) 및 다중 뷰 (7.0%) 데이터셋에서 주목할 만한 향상이 관찰되었습니다.
• 강건성: 이 방법은 시각적 열화 (가우시안 노이즈, 모션 블러, 가림) 에 대해 우수한 강건성을 보였으며, 기준 방법이 성능 저하를 겪는 상황에서도 높은 정확도를 유지했습니다.
• 효율성: 이 접근법은 단일 정책 모델만 필요로 하며, 입력을 수정하여 단일 소스 샘플을 생성하므로 경험 재생 또는 오프-정책 수정의 저장 오버헤드를 피합니다. 계산 오버헤드는 적당하며, 주요 이점은 증가된 궤적 양이 아닌 앵커 메커니즘에서 비롯됩니다.
• 정성적 분석: 사례 연구는 MARS 가 저조도에서 적외선과 같이 정보 풍부한 소스를 성공적으로 우선시하고, 흰색으로 변한 깊이 이미지와 같이 관련 없거나 노이즈가 많은 소스를 억제하여 표준 GRPO 에 비해 더 정확한 추론 및 그라운딩을 이끌어냈음을 보여주었습니다.

중요성 및 주장

본 논문은 MARS 가 다중 소스 시나리오에서 시각 추론 성능을 향상시키기 위한 일반적이고 효과적인 솔루션을 제공한다고 주장합니다. 소스 간의 동적 상호작용을 명시적으로 모델링하고 정보 획득을 정량화함으로써, 이 방법은 "더 많이 보기"와 "더 많이 알기" 사이의 갈등을 해결합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 특정 훈련 프레임워크에 의존하지 않습니다 (GRPO 및 DAPO 와 호환됨).
• 기본 모델의 아키텍처 변경이 필요하지 않습니다.
• 모달리티 충돌과 촉진을 처리하는 원칙적인 방법을 제공하여 더 안정적이고 해석 가능한 최적화 궤적으로 이어집니다.
• 동적으로 단일 소스 보상을 앵커로 활용하여 모델을 정보 풍부한 소스에 집중하게 하고 노이즈를 억제하는 것이 효과적임을 검증함으로써, 효과적인 다중 소스 추론은 정보 획득과 간섭을 구분해야 함을 확인했습니다.