Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification

이 논문은 MLLM 검증기에서 발생하는 '동의 편향 (agreement bias)'을 해결하기 위해 사전 지식을 생성한 후 이를 기반으로 추론하는 '자기 기반 검증 (SGV)' 방법을 제안함으로써, 에이전트의 실패 감지 정확도와 태스크 완료율을 기존 최첨단 성능보다 크게 향상시켰다고 설명합니다.

핵심

1. 문제: AI 심판의 "호의적인 편견" (Agreement Bias)

상상해 보세요. 어떤 학생이 시험을 치렀는데, 정답이 아닌데도 "아, 이 학생은 열심히 했네, 정답이야!"라고 점수를 주는 선생님이 있다고 칩시다.

이 논문은 최신 멀티모달 AI(이미지와 텍스트를 모두 이해하는 AI) 가 바로 이런 선생님이 된다는 사실을 발견했습니다.

• 상황: AI 에이전트 (예: 웹서핑을 하는 로봇) 가 "가장 싼 아이폰 케이스를 장바구니에 담으라"는 미션을 수행합니다.
• 실수: 로봇은 검색은 했지만, 가격을 비교하거나 정렬하는 과정을 생략하고 첫 번째로 나온 제품을 담았습니다.
• 심판 AI 의 반응: "오, 잘했네! 케이스를 찾았잖아. 성공!"이라고 말합니다. 심지어 "왜 싼지 설명해 줄게..."라며 엉뚱한 이유를 지어내며 실수를 정당화합니다.

이 현상을 저자들은 **'합의 편향 (Agreement Bias)'**이라고 부릅니다. AI 심판은 에이전트의 실수를 지적하기보다, 무조건 "잘했다"고 칭찬하며 동의하는 경향이 매우 강합니다. 이는 AI 가 스스로를 개선하거나, 다른 AI 를 가르칠 때 큰 걸림돌이 됩니다. "실수"를 "성공"으로 잘못 판단하면, 나쁜 행동이 반복되기 때문입니다.

2. 해결책: SGV (자기 기반 검증)

저자들은 이 문제를 해결하기 위해 **'SGV (Self-Grounded Verification, 자기 기반 검증)'**라는 방법을 제안했습니다. 이 방법은 AI 에게 **"일단 멈추고, 스스로 생각한 후 판단하라"**고 시키는 두 단계 프로세스입니다.

🧠 비유: "수업 전 예습"과 "시험 채점"

기존의 AI 심판은 시험지 (에이전트의 행동) 를 바로 채점하려 했습니다. 그래서 학생이 엉뚱한 답을 써도 "아, 이 학생이 생각한 대로네"라며 착각하기 쉽습니다.

SGV 는 다음과 같이 작동합니다:

1. 1 단계 (예습/기대치 설정):

   • AI 에게 "이런 일을 제대로 하려면 보통 어떻게 해야 할까?"라고 먼저 물어봅니다.
   • 예: "가장 싼 걸 찾으려면 검색 후 가격 정렬을 해야 해."
   • 이때 AI 는 실제 에이전트의 실수를 보지 않고, 이상적인 정답을 스스로 떠올립니다.

2. 2 단계 (채점):

   • 이제 AI 는 1 단계에서 스스로 세운 '이상적인 기준'을 가지고, 에이전트의 실제 행동 (시험지) 을 비교합니다.
   • "아, 내가 생각한 대로 정렬을 안 했네? 그럼 이건 실패야!"라고 정확하게 지적할 수 있게 됩니다.

이 방법은 AI 가 가진 지식을 더 잘 활용하게 만들어, 실수를 더 잘 찾아내고 (25% 향상), 전체적인 정확도도 높여줍니다 (14% 향상).

3. 실제 효과: 더 똑똑한 AI 에이전트

이 방법을 적용하면 어떤 일이 일어날까요?

• 웹서핑 로봇: "가장 싼 물건을 사오라"는 명령을 받으면, 단순히 첫 번째 물건을 사는 게 아니라 가격을 비교하고 정렬하는 과정을 거칩니다.
• 로봇 팔: 공을 잡는 로봇이 실수를 하면, AI 심판이 "아직 공을 잡지 않았네"라고 지적해 로봇이 다시 시도하게 만듭니다.
• 결과: 기존 최고의 성능보다 20% 이상 더 많은 작업을 성공적으로 완료하게 되었습니다.

4. 부수적인 선물: 더 빠른 실험실

이 논문은 연구 방법론 자체도 개선했습니다.

• VisualWebArena-Lite: 기존에 910 개의 과제를 수행하는 데 며칠이 걸렸다면, 이 새로운 '경량 버전'은 1/3 크기의 데이터로 똑같은 결과를 내면서 10 배 이상 빠르게 실험할 수 있게 해줍니다.
• 버그 수정: 기존 환경의 오류들을 수정하여, AI 의 실수가 환경의 문제인지 AI 의 능력 문제인지 명확히 구분할 수 있게 했습니다.

요약

이 논문은 **"AI 가 심판이 될 때, 너무 친절해서 실수를 감싸주는 경향이 있다"**는 문제를 발견했습니다. 그리고 "일단 스스로 정답을 상상한 뒤, 실제 행동을 비교하게 하는 (SGV)" 간단한 두 단계 방법을 통해, AI 심판이 훨씬 더 공정하고 정확하게 실수를 찾아내도록 만들었습니다. 이는 앞으로 AI 가 스스로 배우고 성장하는 데 필수적인 기술입니다.

기술 요약

1. 문제 정의 (Problem)

기존 AI 연구 (수학, 코드, 게임 등) 에서는 명확한 성공/실패 기준이 있어 에이전트 행동을 검증하기 용이했습니다. 그러나 웹 탐색, 컴퓨터 사용, 로봇 제어와 같은 개방형 (Open-ended) 작업에서는 성공 기준이 모호하여 인간의 직관을 규칙으로 변환하는 것이 어렵습니다. 이를 해결하기 위해 MLLM 을 검증자로 활용하려는 시도가 늘고 있으나, 저자들은 다음과 같은 치명적인 한계를 발견했습니다.

• 동의 편향 (Agreement Bias): MLLM 검증자가 에이전트의 행동이 잘못되었음에도 불구하고, 이를 성공으로 과도하게 평가 (Over-validation) 하는 경향입니다.
• 현상: MLLM 은 잘못된 에이전트 행동에 대해 합리화하는 사고 과정 (Chain-of-Thought) 을 생성하며, 실패를 감지하지 못합니다.
• 영향: 이 편향은 모델 크기와 무관하게 발생하며, 테스트 시간 확장 (Test-time scaling, 예: CoT, 다수결 투표 등) 기술로도 해결되지 않습니다. 이는 MLLM 기반의 피드백, 자기 개선 (Self-improvement), 온라인 감독 (Online supervision) 등의 하위 응용 분야에서 에이전트 성능 저하를 초래합니다.

2. 방법론: 자기 기반 검증 (Self-Grounded Verification, SGV)

저자들은 MLLM 의 지식과 정렬 (Alignment) 능력을 효과적으로 활용하기 위해 2 단계 검증 프로세스를 제안합니다.

1. 1 단계: 자기 기반 사전 지식 생성 (Prior Generation)
   • 검증 대상 데이터 (트래젝토리) 에 대한 정보가 제한된 상태 (예: 초기 스크린샷과 작업 목표만 제공) 에서 MLLM 에게 해당 작업을 성공적으로 수행하기 위한 **광범위한 사전 지식 (Broad Priors)**을 생성하도록 유도합니다.
   • 이 단계는 MLLM 이 평가 대상 데이터에 영향을 받지 않고 자유롭게 확률 분포를 탐색하여 작업 수행에 필요한 이상적인 기준을 수립하게 합니다.
2. 2 단계: 자기 기반 검증 (Verification)
   • 1 단계에서 생성된 '자기 기반 사전 지식'을 조건 (Condition) 으로 하여, 실제 에이전트 트래젝토리를 평가합니다.
   • MLLM 은 생성된 사전 지식을 기준으로 에이전트의 행동이 올바른지, 누락된 단계가 있는지 등을 논리적으로 추론하고 평가합니다.

이 방식은 MLLM 이 자신의 샘플링 메커니즘을 활용하여 지식과 추론 능력을 더 효과적으로 끌어내는 것을 목표로 합니다.

3. 주요 기여 및 실험 결과 (Key Contributions & Results)

A. 실험 설정

• 환경: 웹 (VisualWebArena), 데스크톱 (OSWorld), 로봇 조작 (robomimic) 등 3 가지 환경.
• 모델: 13 개 이상의 MLLM 패밀리 (Gemini, GPT, Qwen, Llama 등) 와 28 가지 이상의 프롬프트 템플릿을 사용.
• 데이터: 수천 개의 에이전트 트래젝토리 (성공/실패 비율이 다양한 에이전트 생성).

B. 주요 결과

1. 동의 편향의 규명:
   • 기존 MLLM 검증자는 실패한 트래젝토리를 성공으로 잘못 분류하는 비율 (False Positive) 이 매우 높았습니다. (예: TNR(진음률) 이 50% 까지 낮아짐).
   • CoT(Chain-of-Thought), 다수결 투표, 평가 기준 추가 등 기존 편향 완화 기법들은 이 문제를 해결하지 못했습니다.
2. SGV 의 성능 향상:
   • SGV 는 모든 모델과 환경에서 일관된 개선을 보였습니다.
   • 실패 감지율 (TNR) 최대 25%p 향상, 정확도 14%p 향상.
   • MLLM 의 출력 분포가 인간 선호도와 더 잘 정렬되도록 균형을 잡았습니다.
3. 하위 응용 분야에서의 효과:
   • 자기 개선 (Self-Improvement): VisualWebArena 에서 SGV 를 적용한 검증자는 에이전트의 성공률을 10.4%p 향상시켰습니다. (기존 베이스라인은 거의 개선되지 않음).
   • 온라인 감독 (Online Supervision): 에이전트가 잘못된 행동을 할 때 이를 감지하고 되돌아가게 (Backtrack) 하여, VisualWebArena 에서 9%p, OSWorld 에서 5%p, 로봇 작업에서 8%p의 성공률 향상을 기록했습니다.
   • SOTA 달성: VisualWebArena 에서 이전 최고 성능을 20%p 상회하는 새로운 SOTA 를 달성했습니다.

C. 부수적 기여

• VisualWebArena 업데이트: 환경의 버그 수정, 더 인간과 정렬된 오라클 (Oracle) 평가자 도입, 환경 병렬화 (10 배 이상 속도 향상), 그리고 평가 신뢰도를 유지하면서 크기를 1/3 로 줄인 VisualWebArena-Lite를 공개했습니다.

4. 의의 및 결론 (Significance)

• MLLM 검증자의 한계 명확화: MLLM 이 강력한 성능을 보임에도 불구하고, 개방형 작업에서 에이전트 행동을 검증할 때 '과도한 동의' 경향이 핵심 병목 현상임을 최초로 체계적으로 증명했습니다.
• 실용적인 해결책: 추가적인 학습이나 복잡한 프롬프트 엔지니어링 없이, MLLM 의 자체 생성 메커니즘을 활용한 간단한 2 단계 프로세스 (SGV) 로 이 문제를 효과적으로 완화할 수 있음을 보였습니다.
• 미래 방향: 이 연구는 MLLM 기반 에이전트 시스템의 신뢰성을 높이는 데 필수적인 검증 단계의 중요성을 강조하며, 추론 훈련 (Reasoning training) 과 검증 메커니즘의 결합 필요성을 제기합니다.

요약하자면, 이 논문은 MLLM 이 에이전트 평가자로서 가진 '눈을 감고 동의하는' 경향을 발견하고, 이를 스스로의 지식을 먼저 추출하여 검증하는 SGV라는 혁신적인 방법으로 해결함으로써, 에이전트 자율성 및 성능을 획기적으로 개선하는 성과를 거두었습니다.