기술 요약: BEACON – 에이전트 기반 시각적 추론의 수행 시점과 방법론에 대한 이해

1. 문제 정의

에이전트 기반 시각적 추론(Agentic visual reasoning)은 외부 도구(예: 이미지 조작이나 수치 계산을 위한 코드 실행)를 활용하여 복잡한 과제를 해결함으로써 멀티모달 거대 언로 모델(MLLM)의 능력을 강화하는 것을 목표로 합니다. 그러나 기존 방식은 두 가지 결정적인 결함이 있습니다:

1. 모드 적응성 부족 (Lack of Mode Adaptiveness): 기존 모델은 도구가 언제 필요한지 판단하는 데 종종 실패합니다. 이들은 도구를 무분별하게 호출하여(불필요한 계산 오버헤드와 단순 작업에서의 오류를 초래) 혹은 도구를 전혀 사용하지 못하여(어려운 문제를 해결할 기회를 놓침) 문제를 일으킵니다.
2. 비효적인 도구 사용 (Tool Effect): 도구는 풀 수 없는 문제에 대해 모델의 능력을 확장하기 위해 존재하지만, 현재의 모델들은 도구 없이도 이미 풀 수 있는 문제에서 오히려 오류를 유발하곤 합니다. 결과적으로 "어려운" 예제에서의 성능 향상이 "쉬운" 예제에서의 성능 저하로 인해 상쇄되어, 도구가 없는 추론 대비 순 이득(net improvement)이 미미해지는 경우가 빈번합니다.

본 논문은 근본적인 목표가 단순히 모델에게 도구를 장착하는 것이 아니라, 진정한 능력 확장을 달성하기 위해 모델이 도구를 적응적이고 효과적으로 사용하도록 보장하는 것이라고 주장합니다.

2. 방법론: Beacon 프레임워크

저자들은 지도 미세 조정(SFT) 후 강화 학습(RL) 패러다임을 통해 훈련된 새로운 에이전트 기반 시각적 추론 모델인 Beacon을 제안합니다. 핵심 혁신은 데이터 구축과 RL 프레임워크에 있습니다.

2.1 훈련 데이터 구축

• 소스 선택: 실세계 인지, 차트, OCR, STEM 및 공간 추론을 다루는 16개의 다양한 벤치마크에서 데이터를 큐레이션했습니다.
• SFT 데이터 합성: 베이스 모델(Qwen3-VL-8B-Instruct)을 소스 데이터로 평가합니다. 어려운 예제(5회 중 2회 이하로 정답을 맞힌 경우)를 선택합니다. 강력한 교사 모델(Gemini 3.1 Pro)이 이 어려운 예제들에 대해 코드 보조 추론 궤적(trajectory)을 생성하며, 이는 정확성을 보장하기 위해 정제됩니다.
• RL 데이터 큐레이션: SFT 모델을 동일한 풀(pool)에서 평가합니다. 능력의 경계를 확장하는 데 집중하기 위해, 여전히 해결되지 않은 예제(5회 중 3회 이하로 정답을 맞힌 경우)를 RL 단계용으로 선택합니다.

2.2 강화 학습 프레임워크

Beacon은 GRPO(Group Relative Policy Optimization)를 기반으로 한 커스텀 RL 프레임워크를 사용하며, 두 가지 새로운 메커니즘을 포함합니다.

A. 필요성 인지 적응형 보상 (Necessity-Aware Adaptive Reward, NAAR)

이 보상 함수는 모드 적응성 문제를 해결합니다. 모델의 문제 해결 능력을 억제하지 않으면서도 꼭 필요할 때만 도구를 사용하도록 장려하는 것을 목표로 합니다.

• 로직: 일련의 롤아웃(rollout) 그룹에 대해, 만약 최소 하나 이상의 올바른 텍스트 전용(text-only) 응답이 존재한다면, 올바른 텍스트 전용 응답에는 1.0의 보상을 부여하고, 올바른 코드 기반 응답에는 감소된 보상(0.25)을 부여합니다. 만약 텍스트 전용 응답 중 정답이 없다면, 올바른 코드 기반 응답에 전체 보상(1.0)을 부여합니다.
• 목표: 이는 충분한 능력이 있을 때 텍스트 전용 추론을 선호하는 "연성 선호(soft preference)"를 생성하여, 불필요한 도구 호출에는 페널티를 부여하는 동시에 어려운 문제에 도구를 사용할 동기는 유지합니다.

B. 힌트 가이드 기반 능력 확장 (Hint-Guided Capability Expansion, HCE)

이 메커니즘은 표준 RL에서 일반적으로 버려지는 "전부 오답인" 그룹으로부터 학습 신호를 회복함으로써 도구 효과(Tool Effect) 문제를 해결합니다.

• 프로세스: 일련의 롤아웃이 어려운 문제를 해결하지 못할 때, 강력한 전문가 모델(Gemini 3.1 Pro)이 "힌트"를 생성합니다. 이 힌트는 검증된 정답 궤적에서 파생된 중간 추론 단계와 하위 목표(최종 정답은 제외)로 구성됩니다.
• 재-롤아웃 (Re-rollout): 정책 모델은 원래의 질문과 이 힌트를 함께 입력받아 새로운 궤적을 생성하도록 유도됩니다.
• 최적화: 정책 업데이트 중에 힌트는 입력 프롬프트에서 제거되지만, 힌트를 사용하여 성공적으로 생성된 궤적은 유지됩니다. 이를 통해 추론 시점에 힌트에 의존하지 않고도 문제를 해결할 수 있는 능력을 전이시킵니다.

2.3 추론 동작

추론 과정에서 Beacon은 크롭(cropping), 주석 달기(annotation) 또는 계산과 같은 작업을 수행하기 위해 파이썬 코드를 생성할지(<tool_call>...</tool_call>로 둘러싸인 형태)를 자율적으로 결정합니다. 출력은 추가적인 추론이나 최종 정답 생성을 가이드하기 위해 관측값(<observation>...</observation>)으로 반환됩니다.

3. 주요 기여

1. 도구 사용의 체계적 분석: 저자들은 두 가지 지표를 정의하고 정량화했습니다: 모드 적응성(MA) (올바른 추론 모드를 선택하는 능력) 및 도구 효과(TE) (도구 사용의 순 이득, Tool-Gain에서 Tool-Harm을 뺀 값으로 계산). 이들의 분석은 기존 모델들이 적응성이 부족하며, 도구로 인한 이득이 흔히 쉬운 작업에서의 손실에 의해 상쇄됨을 밝혀냈습니다.
2. 새로운 훈련 프레임워크: 적응적 호출과 진정한 능력 확장을 구체적으로 겨냥하기 위해 NAAR와 HCE를 RL 프레임워크 내에 도입했습니다.
3. 고품질 데이터 파이프라인: 강력한 교사 모델을 활용하여 어려운 예제에 대한 코드 보조 궤적을 생성하고 정제하는 합성 파이프라인을 통해 고품질의 감독(supervision)을 보장합니다.
4. 최첨단 성능: Beacon은 13개의 다양한 벤치마크에서 오픈 소스 모델 중 가장 높은 평균 성능을 달 기록하며, 폐쇄형 모델과의 격차를 크게 좁혔습니다.

4. 실험 결과

모델은 고해解상도 시각 탐색(V*, HRBench), 공간 추론(BLINK, BabyVision), 에이전트 추론(TIRBench, GameQA)을 포함한 13개 벤치마크에서 평가되었습니다.

• 전반적 성능: Beacon-8B는 모든 오픈 소스 모델 중 가장 높은 평균 점수를 기록했으며, 13개 중 11개 벤치마크에서 1위를 차지했습니다. 이는 베이스 모델(Qwen3-VL-8B-Instruct)보다 평균 6.07 포인트 높은 성적입니다.
• 모드 적응성: Beacon은 가장 높은 MAmean(평균 적응성 점수)을 보여주었으며, 문제 난이도에 따라 텍스트 전용 모드와 도구 보조 모드 사이를 효과적으로 전환할 수 있음을 입증했습니다. 단일 모드를 선호하는 다른 모델들과 달리, Beacon은 전략을 적응시킵니다.
• 도구 효과: Beacon은 Tool-Gain과 Tool-Harm 사이에서 가장 큰 양(+)의 격차($\Delta$TE = +3.14%)를 보였습니다. 이는 Beacon이 어려운 문제를 해결하기 위해 도구를 성공적으로 사용하는 동시에, 쉬운 문제에서의 성능 저하를 최소화함을 나타냅니다. 다른 모델들은 종종 $\Delta$TE가 0에 가깝거나 음수를 기록했습니다.
• 절제 연구 (Ablation Studies): NAAR를 제거하면 모드 적응성이 감소했고, HCE를 제거하면 도구 효과($\Delta$TE)가 감소했습니다. 전체 모델은 이 두 가지를 결합하여 최적의 결과를 달성했습니다.

5. 의의 및 주장

본 논문은 에이전트 기반 시각적 추론의 발전이 단순히 도구 사용 빈도나 총 정확도로 측정되는 것이 아니라, 모델이 언제 도구가 필요한지 알고 어떻게 사용하여 진정한 능력 향상을 만들어내는지에 의해 측정되어야 한다고 주장합니다.

Beacon은 적응성과 도구 사용의 순 이득을 명시적으로 최적화함으로써, 다음과 같은 모델을 만들 수 있음을 입증했습니다:

1. 해결 가능한 작업에서 불필요한 계산 오버헤드를 피함.
2. 이전에는 해결 불가능했던 문제들을 해결하기 위해 능력을 성공적으로 확장함.
3. 도구로 인한 이득이 도구로 인한 손실에 의해 상쇄되지 않는 견고한 균형을 달성함.

저자들은 자신들의 접근 방식이 기존 작업에서 보이는 "무분별한 도구 호출"을 넘어, 더 지능적이고 필요에 의해 움직이는 에이전트로 나아가는 더 효과적인 패러다임을 제공한다고 결론짓습니다.