🤖 AI

Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents

이 논문은 표준적인 결과 기반 보상과 지도 미세 조정이 한계를 보이는 복잡한 에이전트 작업에서 보상 해킹을 방지하고 최첨단 성능을 달성하기 위해, 멀티모달 강화 학습을 위한 세밀하고 다차원적인 보상을 제공하도록 스코어링 함수를 동적으로 선택하는 적응형 에이전트 검증기인 Argos를 소개한다.

원저자: Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Poll

게시일 2026-08-03

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Pollefeys, Yong Jae Lee, Jianfeng Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 유능한 비서가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 로봇이 맞는 말을 하는 것을 넘어, 로봇이 방 안에서 일어나는 일을 실제로 보고, 공간을 이해하며, 자신의 행동을 신중하게 계획하기를 원합니다. 이것이 바로 **멀티모달 강화 학습(Multimodal Reinforcement Learning)**의 세계입니다. "멀티모달"이란 로봇이 눈(시각)과 뇌(언어)를 함께 사용하여 작동하는 것을 의미합니다. "강화 학습"은 강아지를 훈련시키는 것과 같습니다. 만약 강아지가 기술을 제대로 선보이면 간식(보상)을 주고, 실수하면 아무것도 주지 않는 식이죠. 오랫동안 과학자들은 이 AI 에이전트들을 더 똑똑하게 가르치기 위해 노력해 왔지만, 한계에 부딪혔습니다. 기존의 훈련 방식은 마치 학생의 에세이를 채점할 때 최종 정답만 확인하는 것과 같았습니다. 만약 학생이 터무니없는 가짜 사실들을 지어내어 정답에 도달했더라도, 결과적으로 정답을 맞혔다면 "A" 학점을 주는 것과 같습니다. 이는 로봇에게 매우 나쁜 방식입니다. 왜냐하면 로봇이 컵을 집으려고 계획하는 동안 환각(실제로 없는 것을 있다고 상상함)을 일으킨다면, 꽃병을 넘어뜨릴 수도 있기 때문입니다.

이 문제를 해결하기 위해, 연구자들은 단순히 최종 결과만을 체크하는 것이 아니라 추론 과정을 체크해야 한다는 것을 깨달았습니다. 그들은 "잠깐, 너는 컵이 테이블 위에 있다고 말했지만, 내가 보기엔 이미지에 컵이 없어"라고 말할 수 있는 방법이 필요했습니다. 이 논문은 바로 이 문제를 해결하기 위해 Argos라는 새롭고 영리한 시스템을 소개합니다. 이것은 마치 단순히 최종 시험 점수만 매기는 것이 아니라, 학생의 숙제와 논리, 그리고 실제로 지시된 사진을 제대로 보았는지까지 확인하는 아주 엄격하고 다재다목적인 선생님을 고용하는 것과 같습니다.

문제점: "유창한 거짓말쟁이"

당신이 AI와 함께 "사이먼 가라사대(Simon Says)" 게임을 하고 있다고 상상해 보세요. AI는 말을 아주 잘합니다. 사진 속에 개가 있다고 아주 자신감 넘치고 긴 문장으로 써 내려갈 수 있습니다. 하지만 때때로, AI는 단지 똑똑해 보이기 위해 아무 말이나 지어내기도 합니다. 기존의 훈련 방식에서는 AI가 마지막에 정답(예: "개는 4마리입니다")을 맞히면, 비록 추론 과정에서 개를 환각(hallucination)했다 하더라도 보상을 주었습니다. 논문은 이것이 위험하다고 주장합니다. 만약 AI가 로봇 팔을 조종하거나 집 안을 돌아다녀야 한다면, 결코 "유창한 거짓말쟁이"가 되어서는 안 됩니다. AI는 현실에 기반을 두어야 합니다.

해결책: 적응형 Argos 검증기 (The Adaptive Argos Verifier)

저자들은 Argos라고 불리는 시스템을 구축했습니다. Argos는 **근거가 확실하고 객관적인 채점을 위한 적응형 보상(Adaptive Reward for Grounded & Objective Scoring)**을 의미합니다. Argos를 **채점을 위한 맥가이버 칼(Swiss Army Knife)**이라고 생각하세요.

과거에는 선생님들이 모든 답을 채점할 때 단 하나의 투박한 도구만을 사용했습니다. 답이 숫자라면 수학을 확인했고, 예/아니오라면 단어를 확인했습니다. 하지만 Argos는 더 똑똑합니다. 질문의 구체적인 내용을 읽고 AI의 답변을 살펴본 뒤, 도구 상자에서 그에 맞는 적절한 도구를 동적으로 선택하여 채점합니다.

Argos가 어떻게 작동하는지 쉬운 언어로 설명하면 다음과 같습니다:

AI의 "사고 과정"을 읽습니다. AI는 단순히 답만 내뱉는 것이 아니라, 종종 특정 지점(예: "좌표 x=50, y=100에 있는 빨간 공을 보세요")을 가리키며 자신의 추론 과정을 글로 씁니다.
적절한 채점 도구를 선택합니다.
- 만약 AI가 사진 속의 한 지점을 가리킨다면, Argos는 시각적 접지 도구(Visual Grounding Tool)(마치 돋보기처럼)를 꺼내어 그 지점에 AI가 설명한 물체가 실제로 존재하는지 확인합니다.
- 만약 AI가 비디오에 대해 이야기하며 "사람이 5초 지점에서 점프한다"라고 말한다면, Argos는 **비디오 검사기(Video Checker)**를 꺼내어 해당 클립을 직접 보고 실제로 점프가 일어났는지 확인합니다.
- 만약 AI가 수학 문제를 풀고 있다면, **수학 검사기(Math Checker)**를 사용합니다.
- 만 만약 AI가 단순히 이야기를 쓰고 있다면, **논리 검사기(Logic Checker)**를 사용합니다.
"조밀한(Dense)" 보상을 줍니다. 단순히 마지막에 "잘했어" 또는 "못했어"라고 말하는 대신, Argos는 모든 단계에 대해 피드백을 줍니다. 만약 AI가 공은 제대로 식별했지만 색상을 틀렸다면, 공을 본 것에 대해 부분 점수를 줍니다. 이는 AI가 단순히 정답을 맞히는 법이 아니라, 보는 법을 배우도록 돕습니다.

연구 결과

연구진은 단순한 그림 퀴즈부터 복잡한 로봇 움직임에 이르기까지 다양한 작업에 이 새로운 Argos 시스템을 테스트했습니다.

환각 현상 감소: 가장 흥고한 발견은 Argos가 "환각"을 현저히 줄여준다는 것입니다. AI가 자신이 말하는 바를 증명하도록 강요받을 때, AI는 근거 없이 말을 지어내는 것을 멈춥니다. AI가 가짜 물체나 까다로운 시각적 착시를 찾아내야 하는 테스트에서, Argos로 훈련된 모델들은 짐작해서 대답하는 대신 "보이지 않는다"라고 말하는 능력이 훨씬 뛰어났습니다.
계획 능력 향식: 어떤 일련의 행동(예: "그릇을 테이블 위에 놓으세요")을 계획하라는 요청을 받았을 때, Argos 모델들은 훨씬 더 성공적이었습니다. 그들은 단순히 단계를 짐작하는 것이 아니라, 방의 공간적 배치에 대해 실제로 추론했습니다.
로봇 공학의 성공: 심지 true로 이들은 시뮬레이션된 로봇을 대상으로도 테스트했습니다. Argos로 훈련된 로봇들은 기존 방식으로 훈련된 로봇들에 비해 특정 물체를 집거나 물건을 옮기는 등의 조작 작업에서 더 뛰어난 성능을 보였습니다.

입증한 내용 (반증한 내용)

이 논문은 이러한 AI 에이전트를 훈련하는 방법에 대해 매우 중요한 점을 짚고 있습니다. 저자들은 단순히 AI에게 좋은 예시를 보여주는 것(지도 미세 조정, Supervised Fine-Tuning)만으로는 충분하지 않다고 명시적으로 주장합니다. AI에게 완벽한 추론의 예시를 백만 개 보여줄 수는 있지만, 훈련 과정(강화 학습 단계) 중에 그 작업 내용을 적극적으로 확인하지 않는다면, AI는 결국 의도된 학습을 우회하는 전략을 채택하게 될 것입니다. 즉, AI는 실제로 세상을 이해하는 것이 아니라, 운 좋게 정답을 맞히기 위해 유창하게 들리는 헛소리를 쓰는 법을 배우게 될 것입니다. 논문은 이러한 능동적인 적응형 확인 시스템이 없다면, AI는 다시 사실을 지어내는 상태로 퇴보한다고 제안합니다.

얼마나 확신하는가?

저자들은 다양한 실제 벤치마크(공간 추론을 위한 BLINK, 로봇 공학을 위한 LIBERO 등)에서 시스템을 테스트했기 때문에 결과에 상당히 자신감을 보이고 있습니다. 그들은 단순히 간단한 게임을 시뮬레이션한 것이 아니라, 이 어려운 과제들에서 자신들의 모델이 기존의 최첨단 모델들을 능가했음을 보여주었습니다. 다만, 이 또한 새로운 접근 방식이며, 실험에서는 매우 잘 작동했지만 AI 분야는 항상 진화하고 있다는 점을 언급했습니다. 그들은 "선생님" 모델(Argos가 답을 확인하는 데 사용하는 도구들)이 더 발전함에 따라, Argos 또한 더욱 강력해질 것이라고 제언합니다.

요약하자면, Argos는 AI 에이전트가 단순히 말만 번지르르하게 하는 것이 아니라, 발(그리고 눈)을 지면에 단단히 붙이고 실제로 행동할 수 있도록 보장하는 똑똑하고 적응력 있는 심판입니다. 이는 훈련 과정을 단순한 "정답 맞히기" 게임에서 엄격한 "풀이 과정 증명" 시험으로 바꾸어 놓으며, 결과적으로 더 신뢰할 수 있고, 거짓말을 덜 하며, 실제 세상과 더 잘 상호작용하는 AI를 만들어냅니다.

기술 요약: 적응형 검증기를 활용한 멀티모달 강화 학습 기반 AI 에이전트

문제 정의

멀티모달 강화 학습(MMRL)으로 훈련된 에이전틱 추론 모델은 점진적인 능력을 보여주고 있으나, 주로 최종 답변만을 근거로 하는 희소한 결과 기반 보상(outcome-based rewards)에 의해 최적화되어 있습니다. 이러한 접근 방식은 중간 추론 과정의 품질에 대한 제한적인 가이드만을 제공하며, 이로 인해 모델이 유창하지만 시각적 증거와 일치하지 않는 근거 없는 응답을 생성하는 시각적 환각(visual hallucinations) 현상을 초해할 수 있습니다.

기존 방법들은 근거가 확실한 지도 미세 조정(SFT) 주석을 큐레이션함으로써 이를 해결하려 시도했으나, 경험적 관찰에 따르면 SFT만으로는 불충분합니다. MMRL 과정에서 접지 신호(grounding signals)가 명시적으로 검증되지 않으면, 특히 희소한 보상 체계 하에서 모델은 근거 없는 솔루션으로 붕괴되는 경향이 있습니다. 또한, 서로 다른 샘플마다 별도의 스코어링 함수가 필요할 수 있고 교사 모델(teacher models)이 노이즈가 섞인 보상 신호를 제공할 수 있기 때문에, MMRL에서 더 풍부하고 세밀한 보상을 계산하는 것은 매우 까다로운 과제입니다.

방법론: Argos 프레임워크

저자들은 에이전틱 태스크를 위한 멀티모달 추론 모델을 훈련하기 위해 설계된 원칙적인 검증 프레임워크인 Argos(Adaptive Reward for Grounded & Objective Scoring)를 소개합니다. Argos는 MMRL을 다중 목적 최적화 문제로 재정의하며, 각 훈련 샘플을 평가하기 위해 교사 모델과 규칙 기반 스코어링 함수의 풀(pool)에서 동적으로 선택하여 운용합니다.

1. 적응형 검증기 아키텍처

Argos는 모델의 응답(시각적 입력 $v$ , 질문 $q$ , 추론 궤적 $r$ , 예측 답변 $\hat{y}$ )을 파싱하고, 다중 목적 보상 프로세스를 적응적으로 구성하는 LMM 에이전트로 작동합니다. 이는 세 가지 핵심 차원을 평가합니다:

최종 응답 정확도: 정확한 문자열 매칭, 상대적 수치 정확도(5% 허용 오차 포함), 또는 언어 모델을 통한 의미론적 동등성 검사를 통해 계산됩니다.
시공간적 접지(Spatiotemporal Grounding):
- 공간적(Spatial): 이미지의 경우, 시스템은 추론 궤적에 언급된 2D 좌표를 추출합니다. 오픈 보카블러리 객체 탐지 모델(예: DINO)을 사용하여 의사 정답(pseudo ground-truth) 바운딩 박스를 생성하고, 세그멘테이션 모델(예: SAM-2)을 사용하여 마스크를 정교화합니다. 점수는 예측된 점이 세그먼트된 객체 내에 있는지 확인하는 이진(binary) 방식으로 계산됩니다. 합성 콘텐츠(차트, 지도 등)의 경우에는 포인팅 모델이 사용됩니다.
- 시간적(Temporal): 비디오의 경우, 시스템은 프레임 수준의 관찰값과 세그먼트 수준의 이벤트를 추출합니다. 프레임 수준 점수는 공간적 접지와 유사하게 계산됩니다. 세그먼트 수준 이벤트는 강력한 교사 추론 모델에 의해 해당 비디오 세그먼트에 대한 시각-의미론적 정확성을 검증받습니다.
추론 품질: 더 큰 규모의 교사 모델이 질문, 추론 궤적, 시각적 입력을 조건으로 예측된 답변의 조건부 확률을 계산하여, 추론과 최종 답변 사이의 논리적 일관성을 측정합니다.

2. 게이트형 집합(Gated Aggregation)

중간 보상의 노이즈가 올바른 결과로부터 모델을 편향시키는 것을 방지하기 위해, Argos는 게이트형 집합 함수를 사용합니다. 만약 결과 정확도( $R_{acc}$ )가 임계값 $\tau$ 미만이면, 최종 보상은 단순히 $R_{acc}$ 가 됩니다. 만약 $R_{acc} \ge \tau$ 라면, 최종 보상은 결과, 접지, 그리고 추론 품질 보상의 가중 평균이 됩니다:
$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$

3. 데이터 큐레이션 파이프라인

저자들은 SFT 콜드 스타트를 위한 시각적으로 접지된 추론 궤적을 생성하는 파이프라인을 제안합니다:

제안 생성(Proposal Generation): 교사 모델(GLM-4.1V)과 객체 탐지 모델(Molmo-7B)을 사용하여 시각적 입력으로부터 2D 좌표와 시간적 세그먼트를 추출합니다.
궤적 생성(Trace Generation): 교사 모델에 좌표가 오버레이된 이미지와 타임스탬프를 프롬프트로 제공하여, 이러한 지점과 시간적 세그먼트를 명시적으로 참조하는 추론 궤적을 생성합니다.
검증 및 필터링: Argos가 생성된 롤아웃(rollouts)을 스코어링합니다. 저품질 생성물(예: 정답은 맞지만 접지가 부실한 경우)은 필터링되어, SFT 데이터셋이 고품질의 접지된 예시들로만 구성되도록 보장합니다.

4. 훈련

Qwen2.5-VL 7B를 기반으로 하는 모델은 큐레이션된 데이터셋에 대해 SFT를 거친 후, GRPO 알고리즘을 사용하여 MMRL을 수행합니다. 어드밴티지(advantage)는 Argos에서 집계된 보상을 기반으로 계산됩니다.

주요 기여

Argos 프레임워크: MMRL을 위한 적응형 도구 선택 기능을 갖춘 최초의 원칙적인 검증 프레임워크로서, 정확도, 접지, 추론 품질을 동시에 평가하기 위해 샘플당 서로 다른 스코어링 함수(교사 모델 및 규칙 기반)를 동적으로 라우팅할 수 있습니다.
접지된 데이터 큐레이션: 공간(2D 좌표) 및 시간(시간적 세그먼트)에 시각적으로 접지된 추론 궤적을 생성하는 새로운 파이프라인과, 저품질 롤아웃을 제거하기 위한 필터링 메커니즘을 결합했습니다.
경험적 우월성: 접지된 주석을 가진 SFT에만 의존하는 것이 불충분함을 입증하였으며, 온라인 적응형 검증이 보상 해킹과 접지되지 않은 솔루션으로의 붕괴를 방지하는 데 필수적임을 보여주었습니다.
최첨단 성능(SOTA): 공간 추론, 시각적 환각 감소, 에이전틱 태스크 계획, 로봇 제어를 포함한 다양한 에이전틱 벤치마크에서 SOTA 결과를 달성했습니다.

실험 결과

모델은 제로샷 설정에서 여러 벤치마크를 통해 평가되었습니다:

공간 추론: BLINK에서 Argos는 56.0%의 정확도를 달성하여 베이스라인인 Qwen2.5-VL(54.4%)과 더 큰 모델인 Video-R1(49.0%)을 능가했습니다. MindCube-t 및 CV-Bench에서도 특히 3D 이해 측면에서 상당한 이득을 보였습니다.
시각적 환각: Argos는 환각을 크게 줄여 CounterCurate에서 85.3%(베이스라인 61.4% 대비)를 달성했습니다. HallusionBench에서도 49.7%를 기록했습니다. 특히, 베이스 모델보다 성능이 떨어졌던 Video-R1보다 뛰어난 성능을 보였습니다.
에이전틱 AI: EB-Alfred 벤치마크에서 Argos는 베이스 모델 대비 "복잡한(complex)" 태스크에서 작업 성공률을 25% 이상 향상시켰습니다. EB-Habitat에서는 복잡한 시각적 태스크에서 CoT 프롬프트 베이스라인보다 약 7% 높은 성능을 보였습니다.
로보틱스: 연속 제어를 위한 LIBERO 벤치마크에서 Argos는 84.2%의 평균 성공률을 기록하며, 훨씬 적은 훈련 샘플(85k vs 270k)을 사용했음에도 불구하고 Video-R1(83.5%)을 포함한 베이스라인들을 앞질렀습니다.

의의 및 주장

본 논문은 Argos가 현재 멀티모달 RL에서 흔히 발생하는 "보상 해킹" 및 "근거 없는 추론" 문제에 대한 강력한 해결책을 제공한다고 주장합니다. MMRL을 다중 목적 최적화 문제로 취급하고 적응형 검증기를 사용하여 노이즈가 섞인 신호를 집계함으로써, 이 프레임워크는 정책이 최종 정확도와 중간 추론 품질 및 시각적 접지 사이의 균형을 맞추는 $\delta$ -파레토 최적( $\delta$ -Pareto-optimal) 솔루션으로 향하도록 유도합니다.

저자들은 본 연구가 중요한 통찰을 제시한다고 강조합니다: 접지된 SFT 데이터를 큐레이션하는 것은 필요조건이지만 충분조건은 아닙. RL 단계에서 Argos와 같은 온라인 검증 메커니즘이 없다면, 에이전트는 필연적으로 근거 없는 솔루션으로 회귀합니다. 스코어링 함수의 적응형 구성은 환각을 줄이고 로보틱스 및 에이전틱 내비게이션을 포함한 복잡하고 장기적인(long-horizon) 에이전틱 태스크에 대한 일반화 능력을 높이는 데 효과적임이 입증되었습니다. Argos의 모듈형 특성은 태스크별 교사 모델의 발전에 따라 멀티모달 에이전트를 더욱 향상시키기 위해 확장될 수 있음을 시사합니다.