기술 요약: IAPO: 소형 멀티모달 에이전트의 도구 사용을 위한 입력 속성 인지 정책 최적화

문제 정의

본 논문은 소형 언어 모델(SLM) 에이전트가 차트와 표를 포함한 시각적 질의응답(VQA)과 같은 멀티모달 시나리오에서 도구를 효과적으로 사용하도록 훈련하는 과제를 다룹니다. PPO(Proximal Policy Optimization)나 GRPO(Group Relative Policy Optimization)와 같은 강화 학습(RL) 방법들이 에이전트의 성능을 개선해 왔으나, 멀티모달 SLM에 적용할 때는 다음과 같은 중대한 한계에 직면합니다:

1. 멀티모달 작업에 부적합한 보상 설계: 기존 방식은 종종 정답 도구 궤적(trajectory)이나 사전 정의된 형식과의 정확한 일치를 요구합니다. 그러나 멀티모달 작업은 다양한 유효한 도구 사용 경로를 허용하는 경우가 많습니다(예: 관련 차트 영역에 집중하기 위해 하이라이팅, 마스킹, 또는 바운딩 박스 그리기 등이 모두 유효할 수 있음). 경직된 형식 검사는 이러한 유연성을 포착하지 못합니다.
2. 희소하고 취약한 보상: 현재의 접근 방식은 주로 이진(binary) 형태의 결과 기반 보상(정답/오답)을 사용합니다. 이는 피드백이 희소하며 모델의 중간 의사결정 과정을 가이드하는 데 실패합니다. 결과적으로 SLM은 실제적인 시각적 근거에 기반한 견고한 도구 선택 정책을 학습하는 대신, 정답을 맞히기 위해 우연한 지름길이나 표면적인 상관관계를 악용하는 법을 배울 수 있습니다.
3. Vanilla GRPO의 최적화 미흡: Vanilla GRPO를 사용하더라도 멀티모달 SLM은 여전히 상당한 수의 도구 오용을 발생시키며, 이는 표준 RL 알고리즘이 멀티모달 도구 사용에 필요한 미묘한 의사결정을 학습하는 데 불충분함을 나타냅니다.

방법론: 입력 속성 인지 정책 최적화 (IAPO)

이 문제를 해결하기 위해 저자들은 학생 모델의 입력 속성(input attribution)을 더 강력한 교사 모델과 정렬하는 RL 알고리즘인 IAPO를 제안합니다. 핵심 아이디어는 생성된 도구 호출(tool call)에 대한 특정 입력 구성 요소의 기여도가 도구 호출의 정확성과 강하게 상관되어 있다는 점입니다.

주요 구성 요소:

1. 통합 기울기(Integrated Gradient, IG) 점수:

   • 입력 프롬프트를 순수 텍스트 컨텍스트($P$), 사용자 쿼리($R$), 이미지 플레이스홀더($I$), 도구 정의($T$)라는 의미론적 블록으로 분해합니다.
   • 이 방법은 각 의미론적 블록이 생성된 도구 호출 시퀀스의 로그 확률에 얼마나 기여하는지 정량화하기 위해 통합 기울기 점수를 계산합니다.
   • 구체적으로, 도구 호출 시퀀스 $y'$에 대해, $s(E)$는 현재 정책하에서의 로그 확률입니다. 입력 임베딩에 대한 이 점수의 기울기를 계산하며, 토큰 수준의 속성은 기울기와 임베딩의 원소별 곱의 노름(norm)으로 정의됩니다 ($o_i = \|g_i \odot e_i\|_2$).
   • 이러한 토큰 수준의 속성들을 집계하여 각 의미론적 유형에 대한 블록 수준 점수($O_k$)를 산출합니다.

2. 속성 기반 페널티 (Attribution-Based Penalty):

   • 더 강력한 교사 모델(예: 더 큰 규모의 SLM 또는 RL로 훈련된 모델)이 동일한 입력에 대해 참조 IG 점수($\hat{b}$)를 생성합니다.
   • 학생 모델의 IG 점수($\hat{a}$)를 KL 발산(Kullback-Leibler divergence)을 사용하여 교사의 점수와 비교함으로써 속성 페널티를 형성합니다: $P_A = D_{KL}(\hat{b} \parallel \hat{a})$.
   • 이 페널티는 학생 모델이 교사가 중요하다고 간주하는 것과 동일한 입력 구성 요소(예: 특정 도구 정의 또는 쿼리 부분)에 집중하도록 유도합니다.

3. 수정된 보상 함수:

   • 궤적 $i$에 대한 최종 보상은 표준 결과 기반 보상($R_{out}$)과 속성 페널티를 결합합니다:
     $$R_{IAPO}^i = R_{out}^i - \lambda P_A^i$$
   • 여기서 $\lambda$는 속성 정렬의 강도를 조절합니다. 이 조밀한(dense) 신호는 정책이 단순히 작업 정확도를 극대화하는 것을 넘어, 내부 의사결정 과정을 교사의 속성 패턴과 일치시키도록 유도합니다.

4. 훈련 프레임워크:

   • 방법론은 2단계 롤아웃(two-turn rollout)을 사용합니다: 모델이 이미지를 편집하기 위한 도구 호출을 생성한 후, 편집된 이미지를 바탕으로 추론하여 최종 답변을 생성합니다.
   • 훈련에는 GRPO 목적 함수를 사용하되, 그룹 상대적 이득(group-relative advantages)을 계산하기 위해 수정된 $R_{IAPO}$를 활용합니다.

주요 기여

1. 새로운 통합 기울기 점수: 본 논문은 서로 다른 입력 의미론적 블록(텍스트, 이미지, 도구 정의)이 도구 호출 생성에 기여하는 정도를 정량화하여 조밀한 감독 신호를 제공하는 방법을 도입했습니다.
2. IAPO 알고리즘: 저자들은 속성 기반 페널티를 사용하는, 도구 사용을 위한 SLM 전용 최초의 RL 방법을 제안합니다. KL 발산을 통해 학생과 교사의 IG 점수를 비교함으로써, IAPO는 교사의 도구 호출 능력과 의사결정 로직을 학생 모델로 전이시킵니다.
3. 실증적 검증: 본 논문은 Vanilla GRPO가 멀티모달 SLM에서 지속적인 도구 오용을 초래함을 보여줍니다. 또한 텍로 전용 모델의 보상 설계를 그대로 적용하는 것이 불충분함을 입증하며, IAPO가 입력 속성을 정렬함으로써 성능을 크게 향상시킨다는 것을 보여줍니다.

실험 결과

본 방법론은 Qwen2.5-VL-3B를 정책 모델로, GRPO로 훈련된 Qwen2.5-VL-7B를 교사 모델로 사용하여 시각적 질의응답 작업에 대해 평가되었습니다.

• 성능 향상: IAPO는 기존의 시각적 도구 사용 연구(VTool-R1, TRM, ToRL)와 비교하여 6개의 테스트 세트(ChartQA, VWTQ, CharXiv 포함)에서 시각적 질의응답 정확도를 평균 3% 향상시켰습니다.
• 도구 선택 정확도: 사례 연구에 따르면, 100 스텝의 Vanilla GRPO 훈련 후에도 SLM은 상당한 도구 선택 오류(예: 열 단위로 나누어진 차트에 행 기반 도구를 적용하는 경우)를 범했습니다. IAPO는 이러한 오류를 유의미하게 줄였으며, 훈련 후반부에는 모델의 도구 호출 성공률이 100%에 근접했습니다.
• 속성 정렬: 연구 결과, 훈련 과정에서 올바른 입력 부분에 대한 IG 점수가 증가하고 결국 잘못된 부분의 점수를 상회하였으며, 이는 도구 오용의 감소와 상관관계가 있음을 보여주었습니다. 7B 교사 모델은 올바른 입력과 잘못된 입력 사이의 IG 점수 분리가 더 명확하게 나타나, 가이드를 위한 강력한 교사 모델의 사용을 입증했습니다.
• 일반화: IAPO는 분포 외(out-of-distribution) 벤치마크(CharXiv)에서도 우수한 일반화 성능을 보여주었으며, 이는 속성 정렬이 표면적인 프롬프트 상관관계에 대한 과적합을 방지하는 데 도움이 됨을 시사합니다.

의의 및 주장

본 논문은 IAPO가 기존 RL 방법들보다 멀티모달 SLM 에이전트를 훈련하는 데 더 효과적인 프레임워크라고 주장합니다. 그 의의는 다음과 같습니다:

• SLM의 격차 해소: IAPO는 입력 속성으로부터 유도된 조밀한 프로세스 수준의 감독 신호를 도입함으로써, SLM이 희소하고 이진적인 보상으로부터 학습할 때 겪는 어려움을 해결합니다.
• 이진 보상을 넘어: 본 논문은 멀티모달 환경에서 정확한 일치나 이진 결과 보상에 의존하는 것에 이의를 제기하며, 모델이 입력에 어떻게 주의를 기울이는지(속성)를 정렬하는 것이 견고한 도구 사용에 핵심적임을 제안합니다.
• RL에서의 교사-학생 증류: IAPO는 온라인 RL 훈련 중에 단순히 출력을 모방하는 것을 넘어, 더 강력한 교사 모델이 학생 모델의 내부 의사결정 과정(속성 패턴)을 가이드하도록 성공적으로 활용합니다.

저자들은 더 큰 모델이 자연스럽게 더 나은 도구 선택 능력과 속성 패턴을 보이지만, IAPO가 이러한 능력을 더 작은 모델로 효과적으로 전이하여 모델이 가장 관련 있는 시각적 근거에 집중하고 멀티모달 도구 사용 작업에서 최첨단(SOTA) 성능을 달 achieve 할 수 있도록 한다고 결론지었습니다.