기술 요약: DAREASONER (AdaReasoner)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 미세한 인지, 다단계 계획, 중간 검증이 필요한 복잡한 시각적 추론 작업에서 종종 어려움을 겪습니다. 인간은 자신의 즉각적인 인지적 또는 지각적 능력을 넘어서는 문제를 해결하기 위해 외부 도구에 의존하지만, 현재의 MLLM은 도구를 **적응적(adaptively)**으로 사용하는 능력이 부족합니다. 기존 방식은 대개 고정된 사전 정의된 호출 패턴에 의존하거나 단일 도구 궤적에 국한됩니다. 결과적으로, 모델은 특히 보이지 않는 도구나 새로운 작업 분포에 직면했을 때, 언제 도구를 사용해야 하는지, 어떤 도구를 선택해야 하는지, 또는 어떻게 여러 도구를 동적으로 조정해야 하는지를 학습하는 데 실패합니다. 핵심 과제는 MLLM이 도구 선택과 오케스트레이션을 특정 작업에 국한된 행동이 아닌 일반적인 추론 기술로 취급할 수 있도록 하는 것입니다.

방법론

저자들은 적응형 다회차(multi-turn) 도구 계획을 가능하게 하도록 설계된 프레임워크인 AdaReasoner를 소개합니다. 이 방법론은 세 가지 핵심 혁신을 기반으로 구축되었습니다:

1. 고품질 궤적 데이터 큐레이션 (Tool Cold Start - TC)

강력한 토대를 구축하기 위해, 저자들은 고충실도 다회차 추론 궤적을 합성하는 데이터 큐레이션 파이프라인을 제안합니다. 이 과정은 다음을 포함합니다:

• 추상적 궤적 설계: 시각적 공간 계획(VSP), 직소 퍼즐(Jigsaw puzzles), GUI QA와 같은 작업을 위해 최적의 문제 해결 청사진을 수동으로 설계합니다.
• 복잡한 시나리오 통합: 성찰 및 백트래킹(모델이 최적이 아닌 결과를 수정하는 경우)과 명시적 도구 실패(도구가 에러를 반환하여 모델이 내재적 능력에 의존하도록 강제하는 경우)를 의도적으로 포함합니다.
• CoT 생성: 강력한 LLM을 사용하여 도구 호출을 연결하는 사고 사슬(Chain-of-Thought, CoT)을 생성함으로써, 모델에게 단순히 무엇을 호출할 것인가뿐만 아니라 단계 사이에서 왜 그리고 어떻게 추론해야 하는지를 가르칩니다.

2. Tool-GRPO (Tool Group Relative Policy Optimization - TG)

이 프레임워크는 다회차 도구 호출 궤적을 처리하기 위해 GRPO(Group Relative Policy Optimization) 알고리즘을 확장합니다. 보상 함수는 장기적인 전략적 계획을 최적화하도록 설계되었습니다:

• 다회차 보상 누적: 총 보상($R_{total}$)은 형식 보상(엄격한 구문 준수), 도구 보상(구조, 이름 및 파라미터 정확도에 따른 계층적 점수 산정), 그리고 정확도 보상(최종 답변 기반)을 결합합니다.
• 도구 사용을 위한 적응형 보상: 비대칭적 보상 구조는 간결한 추론을 장려합니다. 최종 예측이 정답이면 도구 사용 여부와 관계없이 보상을 받습니다. 오답일 경우, 보상은 도구 사용의 품질에 따라 달라지며, 정보가 풍부한 도구 기반 추론에는 부분 점수를 부여하는 한편, 근거 없는 추측에는 벌점을 부여합니다. 이는 도구를 불확실성 상황에서의 폴백(fallback) 메커니즘으로 취급하며, 필수적인 단계가 아닌 선택적 단계로 다룹니다.

3. 일반화를 위한 적응형 학습 (ADL)

특정 도구 식별자에 대한 과적합을 방지하고 보이지 않는 도구에 대한 일반화 능력을 높이기 위해, 저자들은 적응형 학습 메커니즘을 도입합니다:

• 토큰 수준 무작위화: 도구 이름과 파라미터 이름을 무작만큼의 알파뉴메릭 문자열로 대체합니다 (예: GetWeather $\rightarrow$ Func_X7a2). 이를 통해 모델이 오직 의미론적 설명과 문맥으로부터 기능을 추론하도록 강제합니다.
• 의미론적 패러프레이징: 도구 및 인자 설명을 LLM(Gemini 2.5 Flash)을 사용하여 재구성함으로써, 기능적 의미는 유지하면서 구문 구조를 변경하여 모델이 특정 문구가 아닌 견고한 의미 이해를 학습하도록 합니다.

주요 기여

1. 도구 증강 모델을 위한 포괄적 방법론: 본 논문은 다회차 계획을 위한 데이터 큐레이션 레시피, 상호작용을 위한 RL 프레임워크(Tool-GRPO), 그리고 일반화 능력을 높이기 위한 적응형 학습 방법을 통합하는 통일된 파이프라인을 제안합니다.
2. AdaReasoner 모델 제품군: 복잡한 도구 계획이 가능한 최첨단 모델 제품군을 도입합니다. 이 모델들은 자기 적응적 행동을 보여주며, 명시적인 감독 없이도 유익한 도구를 자율적으로 채택하고, 불필요한 도구를 버리며, 작업 요구 사항에 따라 사용 빈도를 조절하는 법을 학습합니다.
3. 성능 및 일반화: 본 연구는 작은 오픈 소스 모델(예: 7B 파라미터)이 구조적 추론 작업에서 선도적인 독점 시스템(예: GPT-5, Claude Sonnet 4)과 경쟁하거나 이를 능가하는 성능을 달 수 있음을 입증합니다. 이는 효과적인 도구 오케스트레이션이 모델 규모에서 도구 효용성으로 성능 병목 현상을 전환할 수 있음을 확립합니다.

실험 결과

저자들은 VSP(VSP, VSPO), 직소 퍼즐(Jigsaw-COPE, BLINK-J), GUI QA(GUIChat, WebMMU)를 포함한 다양한 벤치마크에서 AdaReasoner를 평가했습니다.

• 성능 향상: AdaReasoner의 7B 변체는 벤치마크 전반에 걸쳐 베이스 모델 대비 평균 **+24.9%**의 향상을 달お성했습니다. 구체적으로 VSP에서 97.64%, Jigsaw에서 **96.60%**에 도달하여, GPT-5(Jigsaw에서 80.10%) 및 Claude Sonnet 4를 능가했습니다.
• 적응형 도구 사용: 절제 연구(ablation studies)에서 모델은 다음과 같은 능력을 보여주었습니다:
  • 유익한 도구 채택: 추론 중에 도입된 유용한 도구(예: 경로 탐색을 위한 A*)의 호출 빈도를 높입니다.
  • 불필요한 도구 제거: RL 학습 후, 작업에 기여하지 않는 도구(예: 검증 작업을 위한 A*)의 사용을 억제합니다.
  • 빈도 조절: 작업 복잡성에 따라 샘플당 도구 호출 수를 동적으로 조정합니다.
• 일반화: 보이지 않는 도구 정의(무작위화를 통해) 및 보이지 않는 작업(제로샷 전이)에 대해 평가했을 때, AdaReasoner는 높은 정확도와 도구 사용 성공률을 유지한 반면, 다른 방법들은 상당한 성능 저하를 보였습니다.
• 규모 독립성: 도구 증강 접근 방식은 3B 및 7B 모델 모두 VSP에서 완벽에 가까운 정확도를 달성하게 하여, 도구의 효용성이 내재적 규모의 한계를 극복할 수 있음을 시사했습니다.

의의

본 논문은 멀티모달 추론의 주요 병목 현상이 모델의 내부 추론 능력에서 도구 계획의 효과성으로 이동하고 있다고 주장합니다. 도구 사용을 고정된 기능이 아닌 일반화 가능한 추론 기술로 취함으로써, AdaReasoner는 더 작은 오픈 소스 모델이 도구 사용 전략을 자율적으로 큐레이션할 수 있게 합니다. 이러한 접근 방식은 MLLM이 이전에는 대규모 독점 시스템에서만 볼 수 있었던 수준의 적응성과 견고성을 가지고 복잡한 다단계 시각 문제를 처리할 수 있도록 하며, 구조적 추론 영역에서 오픈 소스와 폐쇄형 모델 간의 격차를 효과적으로 메웁니다.