기술 요약: Beyond the Eye (BEE)

1. 문제 정의

최근 멀티모달 거대 언어 모델(MLLM)은 모델이 외부 시각 도구(예: 줌, 크롭)를 반복적으로 호출하여 이미지 영역을 재인코딩하는 "이미지로 생각하기(Thinking with Images, TwI)" 패러다임을 통해 정밀한 인지 능력을 발전시켜 왔습니다. 이러한 방식은 효과적이지만, 다음과 같은 두 가지 결정적인 한계를 가집니다:

1. 계산 오버헤드: 빈번한 외부 도구 호출과 반복적인 이미지 재인코딩은 상당한 추론 지연 시간과 I/O 병목 현상을 초래합니다.
2. 역량 경계 인식 부족: 명시적인 도구 기반 방식과 새롭게 등장하는 잠재적 추론(latent reasoning) 방식 모두, 내부 파라미터 지식에 의존할 시점과 도구를 호출할 시점을 적응적으로 결정하는 데 어려움을 겪습니다. 이는 모델이 이미 해결할 수 있는 작업에 도구를 중복 사용하여, 정확도를 높이지 못하면서도 계산 자원을 낭비하는 결과를 낳습니다.

2. 방법론: Beyond the Eye (BEE)

저자들은 **자기 조절 역량(self-regulated capability)**을 중심으로 하는 새로운 암시적 시각 도구(Implicit Visual Tool, IvT) 패러다임인 BEE를 제안합니다. BEE는 외부 API를 호출하는 대신, 시각 도구 호출을 모델의 학습 목표에 직접 통합하여, 단일 순전파(forward pass) 내에서 도구 효과를 모사하는 암시적 시각 표현(의미론적 토큰)을 생성하도록 학습합니다.

이 프레임워크는 2단계 학습 과정을 채택합니다:

1단계: 정형화된 사고 사슬(Chain-of-Thought, CoT) 지도 미세 조정(SFT)

• 목표: 모델의 암시적 도구 표현, 적응형 전환 메커니즘 및 기초 추론 능력을 활성화합니다.
• 데이터 구축: 저자들은 Refocus, Thyme, mini-o3, Visual-CoT의 이질적인 데이터를 통합하여 BEE-SFT-320K 데이터셋을 구축했습니다.
  • 궤적 정제(Trajectory Polishing): 명시적인 도구 호출(코드 기반)을 암시적 표현으로 변환합니다. 사전 학습된 의미론적 토크나이저가 보조 이미지(예: 확대/크롭된 뷰)를 의미론적 토큰(<tool_pad>)으로 인코딩하여, 추론 궤적 내의 코드 세그먼트를 대체합니다.
  • 혼합된 호출 상태(Mixed Invocation States): 데이터셋에는 암시적 도구 슬롯이 포함된 궤적과 포함되지 않은 궤적이 혼합되어 있습니다. 이는 모델이 언제 도구를 호출하고 언제 내부 지식에 의존할지를 명시적으로 학습하도록 유도합니다.
  • 보조 정렬(Auxiliary Alignment): 보조 캡션 예측 작업을 사용하여 이러한 새로운 암시적 시각 토큰을 이해하는 모델의 능력을 강화합니다.

2단계: 자기 조절 보상 기반 정렬

• 문제 식별: SFT로 학습된 모델을 분석한 결과, 역량 경계 인식 능력이 부족함이 드러났습니다. 모델은 내부적으로 해결할 수 있는 작업에서도 도구를 과도하게 사용하는 경향이 있습니다.
• 순 도구 이득(Net Tool Gain, NTG) 지표: 이를 정량화하기 위해 저자들은 도구 호출이 작업 성공에 기여하는 한계 기여도를 측정하는 NTG 지표를 도입했습니다 ($NTG = \frac{|G| - |L|}{|C_{tool}|}$, 여기서 $G$는 유효 이득, $L$은 도구로 인한 환각, $C_{tool}$은 도구가 호출된 샘플 집합). SFT 모델은 낮은 NTG(6.2%)를 보였으며, 이는 상당한 중복성을 나타냅니다.
• MC-Reward (자기 조절 신뢰도 교정): 비효적인 도구 의존성을 억제하고 지식 라우팅을 장려하기 위해 복합 보상 함수를 설계했습니다.
  • 동적 역량 신호: 모델은 롤아웃 그룹 내 샘플링된 궤적들의 평균 정확도를 기반으로 작업 난이도($p$)를 추정합니다.
  • 보상 로직:
    • 쉬운 작업 ($p \geq \tau$): 모델이 도구 없이 작업을 해결하면 높은 보상을 받습니다. 불필요하게 도구를 호출하면 벌점을 받습니다.
    • 어려운 작업 ($p < \tau$): 모델이 어려운 작업을 해결하기 위해 도구를 사용하면 보상을 받습니다. 필요할 때 도구를 사용하지 못하면 벌점을 받습니다.
  • 구현: 학습 안정성을 보장하기 위해 코사인 게이팅(cosine gating)을 포함한 매끄러운 연속 함수를 사용하여 보상을 공식화하고, DAPO 알고리즘을 통해 정책을 최적화합니다.

3. 주요 기여

1. BEE 패러다임: 중복된 도구 사용을 피하고 도구 동작을 내재화함으로써 추론 지연 시간을 줄이는 자기 조절 기반의 암시적 시각 도구 프레임워크입니다.
2. 정형화된 CoT 레이블 및 NTG 지표: 적응형 전환을 활성화하기 위해 혼합된 호출 상태를 가진 특화된 SFT 데이터셋을 구축하였으며, 도구 사용의 한계 가치를 정량적으로 평가하는 NTG 지표를 함께 제시했습니다.
3. 자기 조절 보상 메커니즘: 모델이 자신의 인지적 경계를 동적으로 평가할 수 있게 하여, 쉬운 작업에서의 중복된 도구 호출은 억제하고 어려운 작업에서는 도구를 활용하게 하는 새로운 보상 목표(MC-Reward)를 제공합니다.
4. 실증적 검증: BEE가 정밀한 시각 인지 분야에서 최첨단 성능을 달성하는 동시에, 명시적 도구 기반 및 잠재적 추론 베이스라인 모델들에 비해 추론 효율성을 크게 개선함을 입증했습니다.

4. 실험 결과

저자들은 V*, HRBench (4K/8K), MME-RealWorld, LogicVista, POPE를 포함한 다양한 벤치마크에서 BEE를 평가했습니다.

• 성능:
  • BEE-8B와 BEE-4B는 인지 작업의 평균 정확도에서 상용 모델인 Kimi-K2.6을 능가했습니다.
  • BEE-8B는 실세계 이해 벤치마크에서 평균 정확도 75.3을 달성하여, 가장 강력한 오픈 소스 베이스라인인 Qwen3-VL-235B보다 1.2포인트 앞섰습니다.
  • BEE는 다양한 규모에 걸쳐 에이전트 모델(예: DeepEyes, Thyme) 및 잠재적 추론 모델(예: Monet, EVA)보다 일관되게 우수한 성능을 보였습니다.
• 효율성:
  • 지연 시간 감소: 8K 해상도 설정에서 BEE는 DeepEyes 방식 대비 최대 ~86.2%의 추론 가속을 달s성했습니다.
  • 처리량(Throughput): BEE-7B는 1.61 samples/s의 처리량을 달성했으며, 이는 DeepEyes(0.07 samples/s) 및 DeepEyesV2(0.33 samples/s)보다 훨씬 높습니다.
  • 비용: 운영 비용을 1K 샘플당 약 $6.40(DeepEyes)에서 $0.72로 절감했습니다.
• 절제 연구(Ablation Studies):
  • 암시적 도구를 제거하거나 무의미한 토큰으로 대체할 경우 성능이 일관되게 하락하여, 암시적 도구 설계의 필요성을 입증했습니다.
  • MC-Reward 메커니즘은 **순 도구 이득(NTG)**을 6.2%(BEE-Static)에서 **66.0%(BEE-7B)**로 크게 향상시켜, 중복성을 줄이는 데 있어 자기 조절 메커니즘의 효과를 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 BEE가 강력한 인지 능력과 극도로 낮은 지연 시간을 결 der 결합한 암시적 도구 MLLM 개발의 유망한 방향을 제시한다고 주장합니다. 자기 조절 역량 경계를 구축함으로써, BEE는 모델이 내부 지식과 암시적 도구 사용 사이의 균형을 적응적으로 맞출 수 있게 하며, 이는 추론의 깊이와 추론 효율성 사이의 트레이드오프 문제를 근본적으로 해결합니다. 저자들은 이 접근 방식이 자기 조절형 MLLM의 발전을 촉진하며, 기존의 "이미지로 생각하기" 패러다임이 가진 무거운 계산 오버헤드에 대한 확장 가능한 대안을 제공한다고 단언합니다.