💻 computer science

See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

본 논문은 강화 학습 패러다임 내에서 저수준 시각 도구와 마스크 기반 시각 피드백 메커니즘을 통합하여 비전-언어 모델의 추론 능력을 향상시키는 통합 멀티모달 프레임워크인 ForeSight 를 소개하며, 새로 구축된 CG-SalBench 데이터셋에서 최첨단 성능을 달성함을 보여줍니다.

원저자: Zhiheng Wu, Tong Wang, Shuning Wang, Naiming Liu, Yumeng Zhang

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhiheng Wu, Tong Wang, Shuning Wang, Naiming Liu, Yumeng Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 그림 속에서 다른 모든 것과 구별되는 한 가지 물체를 찾아야 하는 까다로운 퍼즐을 풀고 있다고요. 대부분의 현재 AI 모델은 그림에 대해 말하기만 하는 사람처럼 이 퍼즐을 해결하려 합니다. 그들은 말로 자신이 보는 것을 설명하지만, 실제로 충분히 가까이 '보지' 않기 때문에 미세한 세부 사항을 놓치는 경우가 많습니다. 그들은 정답을 추측한 채 넘어가고, 자신이 맞았는지 확인하지도 않습니다.

이 논문은 ForeSight(더 멀리 보고, 더 깊이 생각하다)라는 새로운 AI 프레임워크를 소개합니다. 이 프레임워크는 AI 가 단순히 말하기만 하는 것을 멈추고, 이미지를 더 잘 이해하기 위해 실제로 행동하도록 가르칩니다. 간단한 비유를 들어 작동 방식을 설명해 보겠습니다:

1. 문제: "눈먼 화자"

현재의 AI 모델은 수사 보고서를 읽기만 하고 범행 현장에는 결코 가지 않는 형사처럼 범죄를 해결합니다. 그들은 이미지 모양을 추측하기 위해 내부 기억 (텍스트) 에 의존합니다. 보고서가 모호하면 그들은 틀린 추측을 합니다. 또한 "잠깐, 내가 틀렸을지도 몰라"라고 말하며 다시 확인하는 방법이 없습니다.

2. 해결책: AI 에게 "도구 상자"를 주기 (더 멀리 보기)

ForeSight 는 AI 에게 인간이 하듯이 이미지를 가까이서 검사할 수 있는 특수 안경과 도구 세트를 제공합니다. 단순히 추측하는 대신, AI 는 다음과 같이 결정할 수 있습니다:

확대하기: 병에 붙은 작은 라벨을 읽기 위해 몸을 가까이 대는 것처럼요.
가장자리 추적 (Canny 도구): 모양의 윤곽을 정확히 어디에서 시작하고 끝나는지 보기 위해 형광펜으로 윤곽을 따라 그리는 것처럼요.
색상 변경: 빨간 사과를 녹색 사과 더미 속에서 찾아내도록 돕는 특수 선글라스를 착용해 빨간 물체를 밝은 파란색으로 보이게 하는 것처럼요.

AI 는 스스로에게 이렇게 묻습니다. "내게 충분한 정보가 있을까? 아니야? 좋아, 확대 도구를 사용하자." AI 는 자신이 필요하다고 생각할 때만 이러한 도구들을 사용하여 과정을 효율적으로 만듭니다.

3. 핵심 비법: "자기 수정 거울" (더 깊이 생각하기)

이 부분이 가장 독특합니다. 대부분의 AI 는 답을 제시하고 멈춥니다. ForeSight 는 다릅니다. 이에는 거울이 있습니다.

과정: AI 는 첫 번째 추측 (초안 답변) 을 합니다.
마스크: 그런 다음 자신이 정답이라고 생각하는 이미지의 부분을 가리는 디지털 "마스크"(검은 테이프 조각과 같은) 를 씌웁니다.
확인: 가려지지 않은 나머지 부분을 봅니다. 그리고 묻습니다. "내가 가리지 않은 나머지 부분이 내가 찾고 있는 것과 비슷해 보이나?"
- 가려지지 않은 부분이 선택한 것과 정확히 같다면, "좋아, 내가 맞았어!"라고 말합니다.
- 가려지지 않은 부분이 다르다면 (예: 빨간 원을 선택했지만 가려지지 않은 영역에 파란 네모가 있다면), "잠깐, 내가 실수했어!"라고 말하며 답을 바꿉니다.

이것은 AI 의 사고 과정을 일방통행 (질문 → 답변) 에서 루프(질문 → 답변 → 확인 → 답변 수정) 로 바꿉니다.

4. 학습 방법: "연습 코치"

연구자들은 AI 에게 단순히 이렇게 하라고 지시한 것이 아니라, 강화 학습이라는 방법으로 훈련시켰습니다.

비디오 게임 코치를 생각해 보세요. AI 는 퍼즐을 풀려고 노력합니다.
올바른 도구를 사용하고 정답을 맞추면 "점수"(보상) 를 받습니다.
보지 않고 추측하거나 정답을 틀리면 점수를 받지 못합니다.
수천 번의 시도 끝에 AI 는 최상의 전략을 배웁니다. "여기서는 엣지 도구를 사용해야 하고, 끝내기 전에 거울로 내 작업을 항상 확인해야 해."

5. 결과: 더 똑똑하고 더 작은 AI

연구자들은 이 새로운 AI 를 그들이 만든 새로운 퍼즐 세트 (CG-SalBench) 로 테스트했습니다.

놀라움: 그들은 이 시스템을 상대적으로 작은 AI 모델 (70 억 개 파라미터) 위에 구축했습니다.
승리: ForeSight 는 몇몇 거대하고 유명한 AI 모델보다 작았음에도 불구하고, 그림 속 "가장 다른 것"을 찾아내는 데서 그들 모두를 능가했습니다. 심지어 10 배나 더 큰 모델들보다 물체의 정확한 위치를 파악하는 데 더 뛰어났습니다.

요약

간단히 말해, ForeSight는 단순히 말에 기반해 추측하는 AI 가 아닙니다. 혼란스러울 때 확대경을 집어 들고, 자신의 작업을 거울로 확인하는 법을 배웁니다. 이러한 간단하고 인간적인 행동을 통해 이미지 이해 능력이 훨씬 더 똑똑해지며, 거대한 두뇌가 아니라면 올바른 도구와 작업을 이중으로 확인하는 습관이 있다면 충분하다는 것을 증명합니다.

이 글은 "See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

시각 - 언어 모델 (VLM) 은 강화 학습 (RL) 을 통해 크게 발전해 왔으나, 기존 방법들은 복잡한 시각 추론 작업에서 두 가지 치명적인 한계에 직면해 있습니다:

저수준 시각 정보의 간과: 현재 모델들은 종종 고수준 의미 이해에 의존하며, 이상 탐지 (anomaly detection) 와 같은 작업에 필수적인 세밀한 시각적 특징 (예: 에지, 미묘한 색상 변화, 질감 세부 사항) 을 놓칩니다. 시각적 세부 사항이 모호할 때 텍스트만 추론하는 것은 오류를 초래합니다.
효과적인 시각 피드백의 부재 (개방 루프 추론): 대부분의 VLM 은 "추론 $\to$ 답변"과 같이 선형적인 개방 루프 방식으로 작동합니다. 한 번 답변이 생성되면 모델은 시각적 증거에 대해 다시 검토하지 않습니다. 모델이 시각적 피드백을 사용하여 자신의 예측을 검증하고 오류를 수정할 수 있는 폐쇄 루프 메커니즘이 부족합니다.

2. 방법론: ForeSight 프레임워크

저자들은 RL 에 기반한 통합된 멀티모달 인터리브 추론 프레임워크인 ForeSight를 제안합니다. 이를 통해 VLM 은 (저수준 도구를 통해) "더 멀리 보고 (See Further)", (시각적 반성을 통해) "더 깊이 생각 (Think Deeper)"할 수 있게 됩니다.

A. 핵심 구성 요소

저수준 시각 도구:
이 프레임워크는 모델이 사고의 사슬 (Chain-of-Thought, CoT) 과정에서 자율적으로 호출할 수 있는 기본 이미지 처리 도구 세트를 통합합니다:
- Canny 도구: 객체의 경계와 구조적 윤곽을 명확히 하기 위해 에지를 감지합니다.
- 확대 (ROI) 도구: 전역적 맥락이 불충분할 때 특정 영역에 초점을 맞춰 세밀한 세부 사항을 추출할 수 있게 합니다.
- 색상 도구: 색조나 채도에 기반한 객체 구분을 위해 색상 대비를 강화합니다.
- 메커니즘: 모델은 고정된 파이프라인을 사용하는 대신, 현재 추론 상태에 따라 언제 그리고 어떤 도구를 사용할지 동적으로 결정합니다.
마스크 기반 시각적 반성:
추론을 개방 루프에서 폐쇄 루프로 전환하기 위해 ForeSight 는 반성 메커니즘을 도입합니다:
- 초안 답변(경계 상자와 문자 설명 포함) 을 생성한 후, 모델은 원본 이미지에서 예측된 영역을 덮는 마스크를 생성합니다.
- 마스크 처리된 이미지(마스크가 적용되지 않은 부분만 표시) 가 모델에 다시 입력됩니다.
- 모델은 예측된 객체가 나머지 부분과 비교하여 실제로 고유한지 확인하기 위해 마스크가 적용되지 않은 영역을 분석합니다. 불일치가 발견되면 모델은 답변을 반복적으로 정제합니다.
- 이는 추론 $\to$ 초안 답변 $\to$ 시각적 피드백 (마스크) $\to$ 반성 $\to$ 최종 답변의 순환을 생성합니다.

B. 훈련 전략

이 프레임워크는 **그룹 상대 정책 최적화 (GRPO)**에 기반한 2 단계 훈련 파이프라인을 사용합니다:

1 단계: 지도 미세 조정 (SFT) 및 콜드 스타트:
- SalBench 데이터셋을 기반으로 한 새로운 데이터셋인 CG-SalBench가 구축되었습니다. 이는 정밀한 경계 상자 국소화와 문자 식별이 필요한 "Odd-One-Out" 작업을 포함합니다.
- 데이터는 모델 성능에 따라 "도구 무관" 및 "도구 의존" 하위 집합으로 분할됩니다.
- 더 큰 모델 (Qwen2.5-VL-72B) 이 도구 사용 및 반성 흔적이 포함된 고품질 CoT 주석을 생성하며, 이를 정제하여 7B 모델을 위한 콜드 스타트 데이터셋을 형성합니다.
2 단계: 강화 학습 (RL):
- 모델은 다음을 포함하는 복합 보상 함수를 사용하여 최적화됩니다:
  - 형식 일관성: 구조화된 출력을 보장합니다.
  - IoU 보상: 정답과의 경계 상자 중첩을 최대화합니다.
  - F1 보상: 문자 식별 정확도를 향상시킵니다.
  - 도구 보상: 올바른 도구 호출을 장려하고 과도한 사용이나 무효 형식을 패널티로 부과합니다.
  - 검증 보상: 반성 논리를 정렬합니다 (예: 초안이 틀린 경우 반성이 오류를 식별해야 함).

3. 주요 기여

폐쇄 루프 시각 추론: VLM 추론에 시각 피드백 기반 반성을 처음 도입하여, 개방 루프에서 자기 수정이 가능한 폐쇄 루프 과정으로 전환했습니다.
저수준 시각 통합: 모델이 이전에 무시했던 세부 사항을 능동적으로 "볼" 수 있게 하는 저수준 시각 도구(Canny, 확대, 색상) 의 자율적 호출을 위한 RL 기반 메커니즘을 제안합니다.
새로운 벤치마크 (CG-SalBench): 합성 및 실제 세계 시각적 중요도 작업 간의 격차를 해소하는 "Odd-One-Out" 국소화 및 문자 식별 평가를 위한 전용 데이터셋을 소개합니다.
규모 대비 효율성: ForeSight-7B 와 같은 70 억 파라미터 모델이 단순한 파라미터 확장보다는 우수한 추론 아키텍처를 통해 720 억 파라미터 모델 및 폐쇄형 SOTA 모델보다 더 나은 성능을 발휘할 수 있음을 입증했습니다.

4. 실험 결과

실험은 CG-SalBench 벤치마크와 일반 VQA 작업 (MME, MMBench) 에서 수행되었습니다.

CG-SalBench 성능:
- ForeSight-7B는 IoU 62.24% 및 **F1 점수 84.24%**를 달성했습니다.
- 이는 기본 Qwen2.5-VL-7B(IoU +29.68%, F1 +19.27%) 보다 훨씬 뛰어났습니다.
- Qwen2.5-VL-72B(IoU 66.00%) 보다 F1 점수에서 앞서갔으며, 가장 우수한 폐쇄형 모델(Doubao-Seed-1.6) 보다 IoU 에서 14% 이상 우위를 점했습니다.
- F1 은 높지만 IoU 가 매우 낮았던 (7.85%) GPT-5보다 두드러지게 우수한 성능을 보였으며, 이는 ForeSight 의 뛰어난 국소화 능력을 나타냅니다.
Ablation 연구:
- 도구 + 반성: 두 구성 요소를 함께 사용할 때 가장 높은 성능을 발휘하여, 도구 (지각용) 와 반성 (검증용) 이 상호 보완적임을 확인했습니다.
- 훈련 단계: SFT(콜드 스타트) 와 RL 의 조합이 필수적이었습니다. RL 만으로는 불안정했고, SFT 만으로는 동적 도구 사용의 정제력이 부족했습니다.
일반화: ForeSight 는 국소화 벤치마크 (RefCOCO 시리즈) 와 MME VQA 벤치마크에서 상당한 개선을 보여 다양한 시각 작업 전반에 걸친 견고성을 입증했습니다.

5. 의의

이 논문은 VLM 의 지배적인 "스케일링 법칙" 패러다임에 도전하며, 단순히 모델 크기를 늘리는 것보다 추론 과정의 아키텍처 혁신(특히 저수준 단서와 자기 검증의 통합) 이 더 효과적임을 시사합니다. 모델이 "더 멀리 보고"(능동적 지각) "더 깊이 생각"(반복적 검증) 할 수 있게 함으로써, ForeSight 는 복잡하고 세밀한 시각 추론 작업을 처리할 수 있는 더 견고하고 인간과 정렬되며 신뢰할 수 있는 멀티모달 에이전트를 구축하기 위한 청사진을 제공합니다.