기술적 요약: MLLM 이 멀티모달 추론을 학습할 때 무엇을 학습하는가

문제 제기

현재 멀티모달 대규모 언어 모델 (MLLM) 의 평가는 일반적으로 성능을 단일 집계 정확도 점수로 축소합니다. 이 접근법은 추론을 단일 능력으로 암묵적으로 취급하여 지각(시각 입력에서 정보 추출), 추론(추출된 정보에 대한 연산), 멀티모달 특이적 상호작용(모달 간 조정) 과 같은 오류의 고유한 원천을 흐리게 만듭니다. 기존 벤치마크는 엄격한 통제를 통해 이러한 구성 요소를 분해하는 경우가 드물며, 종종 특정 기술을 분리하지 않고 다양한 입력 모달에 의존합니다. 결과적으로 다양한 학습 전략 (예: 감독 미세 조정 대 강화 학습) 이 특정 멀티모달 추론 능력에 어떻게 영향을 미치는지는 여전히 불분명합니다.

방법론: MATHLENS

이를 해결하기 위해 저자들은 성능을 운영적으로 분해하도록 설계된 교과서 스타일 기하학 문제의 통제된 벤치마크인 MATHLENS를 소개합니다.

• 데이터 구축: MATHLENS 는 FormalGeo-7K의 상징적 의미 상태에 기반하여 구축되었습니다. 각 문제 인스턴스 $k$는 잠재적 의미 상태 $S_k$(공선성, 각도 측정값과 같은 원자적 사실 집합) 와 쿼리 연산자 $\phi_k$로 정의됩니다.
• 통제된 변형: $S_k$로부터 벤치마크는 네 가지 정렬된 주석을 생성합니다:
  1. 시각 다이어그램 ($C^{img}_k$): 지각을 테스트하기 위해 기하학적 제약 조건으로 렌더링됨.
  2. 텍스트 설명 ($C^{txt}_k$): $S_k$를 결정적으로 인코딩한 텍스트로, 지각을 단순화한 추론 평가 가능.
  3. 멀티모달 질문 ($Q_k$): 해결하기 위해 두 가지 모달 모두 필요함.
  4. 지각 프로브 ($Q^{perc}_k$): $S_k$의 특정 원자적 사실을 대상으로 하는 세분화된 질문 (예: "어떤 점들이 공선적인가?").
• 강건성 테스트: 벤치마크는 정답을 유지하지만 시각적 형태를 변경하는 의미적 다이어그램 수정 (예: 레이블 변경, 회전, 보조 도형 추가) 을 포함하여 픽셀 수준 증강을 넘어선 의미 불변성을 테스트합니다.
• 오류 분해: 모델 출력은 다음과 같이 분류됩니다:
  • 지각 오류: 지각 프로브 실패.
  • 추론 오류: 프로브 성공 but 텍스트 전용 추론 실패.
  • 멀티모달 특이적 (통합) 오류: 분리된 지각 및 추론 작업 모두 성공 but 결합된 멀티모달 작업 실패.
  • 잔차: 측정된 지각 및 추론 구성 요소로 설명되지 않는 실패를 포착하는 범주.

이 연구는 직접 RL, 멀티모달 SFT, 텍스트 SFT 및 이들의 조합으로 학습된 변형을 포함하여 7 개 모델 계열 (7–9B 및 72B 파라미터) 에 걸쳐 13 개의 체크포인트를 평가합니다.

주요 발견

분해는 학습 전략이 집계 정확도 하에서는 보이지 않는 체계적으로 다른 능력 프로파일을 유도함을 드러냅니다:

1. 학습 전략의 차별적 영향:

   • 강화 학습 (RL): 주로 지각과 다이어그램 변형에 대한 강건성을 향상시킵니다. 강력한 텍스트 SFT 와 결합될 때 RL 은 지각에서 상당한 개선을 가져옵니다. 그러나 RL 단독은 두 모달 모두에서 modest 한 개선만 제공합니다.
   • 텍스트 SFT: 학습 중 시각 입력이 없음에도 불구하고 텍스트 SFT 는 간접적으로 지각을 강화합니다. 이는 향상된 인지 전략 (예: 자기 수정) 이 모델이 초기 지각 판단을 재검토하고 수정할 수 있게 하는 반성적 추론에 기인합니다.
   • 추론 개선: RL 하에서 추론 개선은 주로 지각 개선을 따르며, 이러한 결합된 개선을 넘어선 뚜렷한 추가적 개선을 보이지 않습니다.

2. 멀티모달 특이적 잔차의 부상:
   지각 및 추론 능력이 향상됨에 따라, 남은 오류 중 점점 더 큰 비율이 이러한 측정된 구성 요소 밖으로 떨어집니다. 이러한 오류는 멀티모달 특이적 잔차(또는 통합 실패) 로 분류됩니다. 이는 멀티모달 추론의 겉보기 진전이 종종 구성 요소 간의 균형 변화를 반영할 뿐 균일한 진전을 의미하지는 않음을 시사합니다.

3. 강건성 이질성:

   • RL은 구조적 다이어그램 변형 하에서 일관성을 향상시킵니다.
   • 멀티모달 SFT는 강건성을 감소시켜 특정 시각 스타일에 과적합을 일으키고 수정된 다이어그램에서 성능이 급격히 저하됩니다.

4. 기술별 개선:
   지각 개선은 고르지 않습니다. 학습은 직접적인 기하학적 단서 (예: 공선성, 평행선) 에 의해 주도되는 기술을 우선적으로 향상시킵니다. 상징적 표시나 장거리 시각적 연관성 (예: 특정 각도 값, 삼각형 감지) 에 의존하는 작업은 텍스트 감독과 결합되지 않는 한 제한된 개선을 보입니다.

중요성 및 주장

이 논문은 MATHLENS 가 멀티모달 추론에 대한 다축 평가에 필요한 프레임워크를 제공한다고 주장합니다. 스칼라 정확도를 넘어선 이동을 통해 저자들은 다음을 입증합니다:

• MLLM 의 겉보기 진전은 종종 지각, 추론, 통합 간의 균형 이동일 뿐 균일한 능력 부스트가 아닙니다.
• 다양한 학습 목표 (SFT 대 RL) 는 이러한 구성 요소를 고유한 방식으로 형성하며, RL 은 지각적 근거와 강건성에 필수적이고, 텍스트 SFT 는 반성적 추론을 통해 지각을 돕습니다.
• 멀티모달 특이적 잔차의 지속성은 개별 구성 요소가 향상되더라도 현재 학습 패러다임이 모달 간 조정에 어려움을 겪고 있음을 나타냅니다.

저자들은 향후 작업이 표준 집계 지표가 이러한 중요한 한계를 흐리게 한다는 발견에 동기를 부여받아 교차 모달 조정과 지각 능력을 직접적으로 다루어야 한다고 결론지었습니다. 이 논문은 이러한 문제를 해결한다고 주장하지는 않지만, 이를 식별할 수 있는 진단 도구를 제공합니다.