AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition

이 논문은 인간의 능동적 시각 메커니즘에서 영감을 받아, 강화 학습과 'Decoupled Turn Policy Optimization (DTPO)' 기법을 통해 각 샘플에 필요한 최소한의 시각 토큰을 자율적으로 결정하고 필요한 경우에만 추가 정보를 획득하는 효율적인 비전 - 언어 모델 'AdaptVision' 을 제안합니다.

핵심

🧠 적응형 비전 (AdaptVision): "눈을 부릅뜨지 않고도" 문제를 해결하는 똑똑한 AI

이 논문은 **"시각-언어 모델 (VLM)"**이라는 AI 가 어떻게 하면 더 똑똑하면서도, 동시에 더 가볍고 빠르게 일할 수 있는지에 대한 이야기를 담고 있습니다.

기존의 AI 는 사진을 볼 때 마치 거대한 망원경으로 사진 전체를 1 초도 안 되는 사이에 100% 확대해서 모든 픽셀을 훑어보는 방식이었습니다. 이렇게 하면 정확도는 높지만, 컴퓨터의 뇌 (메모리) 를 너무 많이 써서 비싸고 느려집니다.

이 논문은 **"인간처럼 똑똑하게, 필요한 곳만 집중해서 보는 AI"**를 만들었습니다. 이를 **AdaptVision(적응형 비전)**이라고 부릅니다.

---

🕵️‍♂️ 핵심 아이디어: "먼저 멀리서 보고, 필요하면 가까이서 확인하자"

인간이 복잡한 그림을 볼 때를 상상해 보세요.

1. 먼저 전체를 훑어봅니다. (저해상도 이미지)
2. "아, 저기 뭔가 중요한 게 있네?" 싶으면 돋보기를 꺼내서 그 부분만 확대해서 봅니다. (고해상도 잘라내기)
3. 전체만 봐도 충분하다면? 굳이 확대하지 않고 바로 답을 말합니다.

AdaptVision 은 바로 이 인간의 '적극적인 시각 (Active Vision)' 방식을 모방합니다.

• 기존 방식 (수동형): 사진 크기를 무조건 1/4 로 줄여서 보거나, 반만 잘라봅니다. (상황과 상관없이 고정된 규칙)
• AdaptVision (적응형): "이건 저해상도로도 충분해!"라고 판단하면 바로 답하고, "아니, 이 부분은 잘 봐야 해!"라고 판단하면 상자 (Bounding Box) 도구를 써서 필요한 부분만 고화질로 가져옵니다.

🛠️ 어떻게 학습시켰을까요? (DTPO: 분리된 훈련법)

AI 를 가르칠 때 가장 큰 문제는 **"무엇이 잘했고, 무엇이 잘못되었는지"**를 구분하는 것입니다.

기존의 학습법 (GRPO) 은 AI 가 "도구를 썼다"와 "정답을 말했다"를 하나의 점수로만 평가했습니다. 마치 축구 경기에서 골키퍼가 공을 잘 막아냈는지와 공격수가 골을 넣었는지를 합쳐서 한 명의 선수에게만 점수를 주는 것과 비슷합니다. 이러면 AI 는 혼란을 겪습니다.

저자들은 이를 해결하기 위해 **DTPO(분리된 턴 정책 최적화)**라는 새로운 방법을 고안했습니다.

• 비유: 축구 코치가 골키퍼와 공격수를 따로 평가하는 것처럼, AI 의 **'도구 사용 (확대하기)'**과 **'답변 생성 (정답 말하기)'**을 두 개의 다른 과제로 나누어 따로 점수를 매겨줍니다.
• 결과: AI 는 "도구를 쓸 때는 언제 써야 하는지"와 "정답을 말할 때는 어떻게 말해야 하는지"를 각각 완벽하게 익히게 되어, 훨씬 안정적이고 효율적으로 학습합니다.

🏆 어떤 성과가 있었나요?

실험 결과, AdaptVision 은 다음과 같은 놀라운 성과를 냈습니다.

1. 압도적인 효율성: 기존 최신 기술들보다 시각 정보 (토큰) 를 훨씬 적게 사용하면서도 더 높은 정확도를 냈습니다.
   • 비유: 다른 AI 들이 100 장의 사진을 다 보느라 지쳐버리는 동안, AdaptVision 은 중요한 30 장만 보고도 정답을 맞췄습니다.
2. 빠른 속도: 불필요한 정보를 처리하지 않으므로, 답변을 내는 속도가 훨씬 빨라졌습니다.
3. 스마트한 판단:
   • 쉬운 문제 (예: "차 한 대가 있니?") → 확대 없이 바로 답함. (효율 극대화)
   • 어려운 문제 (예: "저기 있는 표지판 숫자는 뭐니?") → 필요한 부분만 확대해서 답함. (정확도 유지)

💡 한 줄 요약

AdaptVision은 **"무조건 다 보는 게 능사가 아니다"**라는 철학으로, 인간처럼 상황에 따라 '눈'을 조절하는 AI입니다. 불필요한 계산을 줄여 비용을 아끼면서도, 중요한 순간에는 집중력을 발휘해 정확한 답을 내놓는 지혜로운 AI의 새로운 표준을 제시했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 비전 - 언어 모델 (VLM) 은 시각적 질문 응답 (VQA) 에서 뛰어난 성과를 보이지만, 고해상도 이미지를 처리하기 위해 방대한 수의 시각 토큰 (visual tokens) 을 사용합니다. 이는 막대한 메모리 및 연산 오버헤드를 초래합니다.
• 기존 방법의 한계: 기존 효율적 VLM 접근법들은 고정된 비율 (예: 토큰의 50% 또는 25% 만 유지) 로 시각 토큰을 압축하는 수동적 (passive) 방식을 사용합니다. 이는 모든 샘플에 동일한 압축 비율을 적용하므로, 단순한 작업에서는 불필요한 계산이 발생하거나 복잡한 작업에서는 정보 손실로 인한 성능 저하가 발생합니다.
• 핵심 질문: "VLM 이 각 샘플마다 필요한 최소한의 시각 토큰 수를 자율적으로 결정할 수 있을까?"

2. 제안 방법: AdaptVision (Methodology)

인간의 능동적 시선 (Active Vision) 메커니즘 ( coarse-to-fine, 즉 전체를 먼저 파악한 후 중요한 부분을 자세히 보는 방식) 에서 영감을 받아 AdaptVision을 제안했습니다.

가. 프레임워크 (Coarse-to-Fine Approach)

1. 초기 처리: 모델은 먼저 저해상도 이미지 (원본의 1/4 크기) 를 입력받아 압축된 시각 토큰으로 처리합니다.
2. 적응적 결정: 모델은 질문과 저해상도 이미지 정보를 바탕으로 직접 답변할지, 아니면 추가 정보가 필요한지 판단합니다.
3. 도구 호출 (Tool Invocation): 추가 정보가 필요하다고 판단되면, 바운딩 박스 (Bounding Box) 도구를 호출하여 원본 고해상도 이미지에서 핵심 영역을 잘라내어 (Crop) 추가 시각 토큰을 획득한 후 최종 답변을 생성합니다.

나. 학습 알고리즘: Decoupled Turn Policy Optimization (DTPO)

기존 강화학습 알고리즘인 GRPO(Group Relative Policy Optimization) 를 적용할 때 발생하는 두 가지 문제를 해결하기 위해 DTPO를 제안했습니다.

• 문제점 1 (모호한 크레딧 할당): GRPO 는 시퀀스 전체에 하나의 보상을 부여하여, '도구 호출 결정'과 '최종 답변 생성'의 기여도를 구분하지 못합니다.
• 문제점 2 (불균형 최적화): 툴 호출 시 2 턴으로 구성된 응답은 토큰 수 normalization 으로 인해 도구 관련 토큰의 학습 신호가 약해집니다.

DTPO 의 핵심 전략:

1. 학습 목표 분리 (Decoupled Learning Objective):
   • Tool Learning: 도구 사용의 정확성을 최적화.
   • Accuracy Improvement: 생성된 답변의 정답률을 최적화.
   • 각 목표별로 정규화하여 학습 신호의 균형을 맞춥니다.
2. 이점 추정 분리 (Decoupled Advantage Estimation):
   • 도구 토큰과 답변 토큰에 대해 서로 다른 보상 (Tool Reward, Outcome Reward) 을 기반으로 별도의 이점 (Advantage) 을 계산합니다.
   • 이를 통해 모델이 불필요한 도구 호출을 줄이고, 필요한 경우에만 정교하게 도구를 탐색하도록 유도합니다.

다. 보상 함수 설계 (Reward Design)

• Outcome Reward ($R_{oc}$): 정답 정확도, 형식 준수, 도구 호출 빈도 균형 (과도한 도구 사용을 방지하기 위한 페널티 포함).
• Tool Reward ($R_{tool}$): 잘라낸 영역의 정보 유용성 ($R_{crop}$) 과 영역 크기 ($R_{area}$) 를 고려하여, 최소한의 영역으로 정답을 유도하도록 장려합니다.

3. 주요 기여 (Key Contributions)

1. AdaptVision 프레임워크: 시각 토큰 사용을 동적으로 줄이면서도 높은 정확도를 유지하는 VLM 아키텍처를 제안했습니다.
2. DTPO 알고리즘: 도구 학습과 정답률 향상을 분리하여 최적화하는 새로운 강화학습 알고리즘을 개발했습니다.
3. 성능 입증: 다양한 VQA 벤치마크에서 기존 효율적 VLM 방법들보다 적은 시각 토큰으로 더 우수한 성능을 달성함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 벤치마크: ChartQA, OCRBench, DocVQA, MME, MMVet, MathVista 등 다양한 VQA 데이터셋에서 평가 수행.
• 성능 비교:
  • AdaptVision은 기존 효율적 방법 (FastV, SparseVLM, VisionZip 등) 보다 평균적으로 더 높은 정확도를 기록했습니다.
  • 시각 토큰 소비: 기존 100% 토큰 사용 모델 대비 약 33% 수준으로 토큰을 줄였으며, 단순 저해상도 모델 (25% 토큰) 대비 정확도는 5.8% 향상시키면서 토큰은 7% 만 추가로 사용했습니다.
• 추론 속도: 토큰 사용량 감소로 인해 Vanilla 모델 및 VisionThink 대비 약 1.67 배 빠른 추론 속도를 달성했습니다.
• 적응성 분석: 복잡한 작업 (MathVerse 등) 에서는 도구를 자주 호출하고, 단순 작업 (POPE 등) 에서는 직접 답변하여 효율성을 극대화하는 적응적 행동을 학습함이 확인되었습니다.

5. 의의 및 결론 (Significance)

• 생물학적 영감: 인간의 능동적 시선 메커니즘을 VLM 에 성공적으로 적용하여, "필요한 만큼만 본다"는 효율적인 추론 패러다임을 정립했습니다.
• 효율성과 정확성의 균형: 고정된 압축 비율의 한계를 넘어, 작업 난이도에 따라 동적으로 리소스를 할당함으로써 계산 효율성과 모델 성능을 동시에 확보했습니다.
• 미래 전망: 단일 도구와 고정된 초기 해상도에 국한된 현재 한계를 극복하기 위해, 다양한 도구 세트와 동적 해상도 선택을 위한 후속 연구의 기초를 마련했습니다.

이 논문은 VLM 의 계산 비용 문제를 해결하기 위해 적응적 시각 획득과 분리된 정책 최적화를 결합한 새로운 방향성을 제시하며, 차세대 효율적인 멀티모달 모델 개발에 중요한 기여를 합니다.