기술 요약: AIR: 멀티모달 대규모 언 Language 모델에서의 적응형 인터리브드 추론 및 코드 활용 (Adaptive Interleaved Reasoning with Code in Multimodal Large Language Models)

문제 정의

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 시각적 인지 작업(예: 회전, 확대)을 위한 도구 사용에 RLVR(Reinable Reinforcement Learning from Verifiable Rewards)을 통합하여 추론 능력을 향방시키고 있으나, 기존 패러다임은 주로 시각적 조작에 집중되어 있습니다. 이러한 접근 방식은 시각적 조작을 위한 사전 정의된 휴리스틱에 의존하며, 복잡한 수치 계산 문제를 해결하는 데는 한계가 있습니다. 현재의 MLLM은 복잡한 수학적 과제를 처리하기 위해 텍스트 추론 과정 중에 파이썬 스크립트를 자율적으로 호출하는 능력이 부족한 경우가 많으며, 이는 멀티모달 숙고와 에이전트적 실행 사이의 간극을 메우는 데 필수적인 능력입니다. 또한, 이러한 적응형 도구 호출을 위해 모델을 학습시키는 과정은 도구 사용이 과도하거나 무분별해질 경우 모델 붕괴(model collapse)를 포함한 불안정성을 초래할 수 있습니다.

방법론

본 논문은 AIR (Adaptive Interleaved Reasoning with Code) 프레임워크를 제안합니다. 이 프레임워크는 2단계 학습 패러다임인 SFT(Supervised Fine-Tuning) 콜드 스타트와 RL(Reinforcement Learning) 강화를 통해 MLLM에 적응형 인터리브드 추론 능력을 부여하도록 설계되었습니다.

1. 2단계 콜드 스타트 데이터 구축

소규모 오픈 소스 모델에서 인터리브드 추론을 활성화하는 어려움을 극복하기 위해, 저자들은 분리된 2단계 데이터 합성 파이프라인을 도입합니다:

• 텍스트 CoT 생성: MLLM이 복잡한 문제에 대한 초기 텍스트 Chain-of-Thought(CoT) 추론 경로를 생성합니다.
• 인터리브드 리라이팅(Interleaved Rewriting): LLM이 이러한 경로를 재작성하여, 수치 계산 구성 요소를 실행 가능한 파이썬 코드 스니펫으로 대체합니다.
• 검증: 생성된 데이터는 코드 실행의 무결성과 결과의 정확성을 보장하기 위해 샌드박스 환경에서 엄격한 검증 과정을 거친 후 콜드 스타트 데이터로 사용됩니다.

2. RL 데이터 필터링 전략

RL 단계에서 고충실도 학습 데이터를 확보하기 위해 두 가지 차별화된 필터링 전략이 사용됩니다:

• 자기 샘플링(Self-Sampled) 전략: 후보 모델 자신의 롤아웃(roll-outs)이 Pass@k 지표를 기준으로 적격성을 결정하는 다회차 합의 메커니즘을 활용합니다. 이를 통해 모델이 개선됨에 따라 반복적인 재필터링이 가능합니다.
• 사전 필터링(Prior-Filtered) 전략: 고성능 "교사(teacher)" 모델(예: GPT, Gemini)을 외부 품질 게이트로 활용하여, 효과적인 해결을 위해 도구 호출이 필요한지 여부에 따라 데이터 샘样을 레이블링합니다.

3. 그룹 제약 보상을 통한 적응형 도구 호출

핵조 혁신은 **그룹 제약 보상 함수(group-constrained reward function)**가 강화된 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하는 RL 학습 단계에 있습니다.

• 하이브리드 보상 구조: 총 보상($R$)은 형식 보상($R_f$), 정확도 보상($R_{acc}$), 그리고 코드 통합 보상($R_{code}$)의 결합으로 구성됩니다.
• 그룹 제약: 표준 GRPO와 달리, 이 방법은 인터리브드 추론 시퀀스의 비율에 대한 그룹 내 제약을 도입합니다. 코드 사용에 대한 보상($R_{code}$)은 최종 답변이 정답인지($P_r$) 오답인지($P_w$)에 따라 인터리브드 추론 시퀀스의 비율에 따라 조정됩니다.
• 안정화 메커니즘: 이 제약은 모델이 도구를 과도하게 호출하여 엔트로피 급증 및 학습 붕괴를 일으키는 것을 방지하는 동시에 적응형 호출을 장려합니다. 이는 도구 사용이 성공의 유일한 결정 요인이 아니라 추론 체인의 구성 요소임을 인정함으로써, 코드 보상을 정확도 보상으로부터 분리합니다.

주요 기여

1. 2단계 데이터 구축 방법론: 코드 증강 인터리브드 추론을 지원하는 콜드 스타트 데이터 합성 파이프라인을 통해 고품질 학습 궤적 생성을 위한 장벽을 효과적으로 낮추었습니다.
2. 데이터 필터링 전략: 인터리브드 추론 데이터를 선별하기 위한 자기 샘플링 및 사전 필터링 전략을 제안하여 노이즈를 완화하고 안정적인 정책 최적화를 보장합니다.
3. 적응형 도구 호출 전략: 모델이 도구 호출의 필요성과 타이밍을 자율적으로 결정할 수 있도록 하는 그룹 제약 기반의 GRPO 변형을 개발하였으며, 이를 통해 장기적인 학습 안정성을 확보했습니다.

실험 결과

Qwen2.5-VL-7B 모델을 사용하여 6개의 수학적 추론 벤치마크(MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista)에서 실험을 수행했습니다.

• 성능 향상: 그룹 제약 보상을 통한 RL 학습 후, AIR 모델은 베이스라인 대비 벤치마크 전반에서 평균 **6.1 퍼센트 포인트(pp)**의 향상을 달성했습니다.
• 구체적 개선 사항: 주목할 만한 성과로는 MathVista +8.1 pp, MathVerse +7.7 pp, WeMath +9.9 pp 등이 있습니다.
• 인터리브드 추론 정확도: 인터리브드 추론 샘플에 대한 정확도가 구체적으로 9.9 pp 증가했습니다.
• 도구 사용 성공률: 다양한 도구 호출 비율에 걸쳐 전체 도구 사용 성공률이 **95%**를 초과했습니다.
• 안정성: 그룹 제약 메커니즘은 과도한 도구 사용이 불안정성을 초래하는 에이전트적 RL(Agentic RL)의 흔한 문제인 학습 붕패를 성공적으로 방지했습니다.

의의 및 주장

본 논문은 AIR가 계산 집약적인 작업을 위해 특화된 도구를 자율적으로 조율함으로써 MLLM이 System 2 (느린 사고) 추론을 수행할 수 있게 하는 중요한 진전임을 주장합니다. 시각적 인지(System 1)에 집중했던 이전 연구들과 달리, AIR는 복잡한 수치 계산에서의 핵심적인 간극을 해결합니다.

저자들은 다음과 같은 방식으로 복잡한 멀티모달 추론을 위한 견고한 솔루션을 제공한다고 주장합니다:

1. 추론 궤적 생성과 코드 실행을 분리하여 더 신뢰할 수 있는 데이터 생산을 가능하게 합니다.
2. 그룹 제약 보상을 통해 장기적인 에이전트적 RL 학습을 안정화하여, 규제되지 않은 도구 호출과 관련된 모델 붕괴를 방지합니다.
3. 고정되거나 과도한 사용이 아닌, 적응형 도구 호출이 수학적 벤치마크 성능 향상의 핵심임을 입증합니다.

논문은 AIR가 강력한 결과를 달성했음에도 불구하고, 그 성능은 베이스 모델의 고유한 코딩 및 인지 능력에 의해 제한된다는 점을 언급하며, 향후 연구가 수학적 추론을 넘어 물리학이나 금융과 같은 영역으로 확장되어야 한다고 겸허히 결론짓습니다.