ConFoThinking: Consolidated Focused Attention Driven Thinking for Visual Question Answering

이 논문은 MLLM 의 시각적 주의를 통합하고 질문 기반 노이즈를 줄인 'ConFoThinking'프레임워크를 제안하여, 시각적 질문 답변 (VQA) 작업에서 정밀한 영역 식별 및 성능 향상을 달성함을 보여줍니다.

핵심

📸 "ConFoThinking": AI 가 사진을 볼 때 '초점'을 맞추는 새로운 방법

이 논문은 Multimodal Large Language Models(MLLMs, 멀티모달 거대 언어 모델) 이 이미지와 질문을 보고 답할 때, 정확한 부분을 찾아내는 능력을 획기적으로 개선한 새로운 방법론을 소개합니다.

기존 AI 는 "어디를 봐야 할지"를 결정할 때 종종 실수를 하거나, 중요한 부분을 놓치는 경우가 많았습니다. 이 논문은 그 문제를 해결하기 위해 인간의 눈과 뇌가 작동하는 방식에서 영감을 얻어, AI 가 더 똑똑하게 '초점'을 맞추도록 만들었습니다.

---

🕵️‍♂️ 1. 기존 AI 의 문제: "눈은 맞는데, 손은 틀리는" 상황

기존의 '이미지 생각하기 (Thinking with Images)' 방식은 두 가지 큰 결함이 있었습니다.

1. 좌표 맞추기 게임의 실패 (Tool-augmented 방법):

   • 비유: AI 에게 "사진 속 사과 로고의 색을 말해줘"라고 하면, AI 는 "사과 로고를 잘 보려면 이 박스 (좌표) 를 잘라내야 해"라고 말하며 좌표를 입력합니다.
   • 문제: AI 는 머릿속으로는 정확한 사과를 보고 있는데, 좌표를 숫자로 변환하는 과정에서 실수를 합니다. 마치 "저기 저 빨간 사과를 봐!"라고 말하면서 손가락으로 엉뚱한 곳을 가리키는 것과 같습니다. AI 는 정답을 알고 있어도, 그것을 표현하는 '손가락 (좌표)'이 엉뚱한 곳을 가리키는 것입니다.

2. 산만해진 시선 (Attention-driven 방법):

   • 비유: AI 가 사진을 볼 때, 뇌의 여러 층 (Layer) 에서 시선이 분산되어 있습니다. 어떤 층에서는 사과를 보고, 다른 층에서는 배경을 봅니다.
   • 문제: "어느 층의 시선을 믿어야 할까?"를 정하기 어렵습니다. 마치 여러 명의 감시원이 있는데, 한 명은 사과를 보고, 다른 한 명은 배경을 보고 있어서 어디를 잘라내야 할지 결정하기 애매해지는 상황입니다. 또한, 질문이 너무 길거나 복잡하면 AI 의 시선이 흐릿해져서 중요한 부분을 놓칩니다.

---

💡 2. ConFoThinking 의 해결책: "집중된 시선"으로 한 번에 잡기

이 논문이 제안한 ConFoThinking은 AI 가 좌표를 직접 숫자로 맞추는 대신, 시선을 한곳으로 모으고 (Consolidated), 중요한 부분만 골라내는 (Focused) 방식을 사용합니다.

🎯 핵심 아이디어 1: "무엇을 볼지"와 "어디를 볼지" 분리하기

• 기존 방식: "사과 로고의 색이 뭐야?"라는 질문을 그대로 AI 에게 시켜서 시선을 유도했습니다. 하지만 질문이 길면 AI 가 헷갈립니다.
• 새로운 방식 (ConFoThinking): AI 가 먼저 **"이 사진에서 내가 봐야 할 건 '맨 위에 있는 큰 글씨'야"**라고 스스로 요약합니다.
  • 비유: 수사관이 사건을 조사할 때, "범인을 찾아라"라고 막연히 말하는 대신, **"범인은 검은 모자를 쓴 사람이다"**라고 구체적인 단서 (Focus Cue) 를 먼저 찾아낸 뒤, 그 단서만 쫓아갑니다. 이렇게 하면 AI 의 시선이 흐트러지지 않습니다.

🧱 핵심 아이디어 2: 시선을 '한 층'으로 모으기

• AI 의 뇌는 여러 층으로 되어 있는데, 보통 시선이 여기저기 흩어져 있습니다. ConFoThinking 은 특정 층 (예: 22 번째 층) 으로 시선을 강제로 모으는 훈련을 시킵니다.
• 비유: 여러 개의 카메라가 동시에 찍고 있는데, 각 카메라가 다른 곳을 보고 있다면 편집하기 어렵습니다. 하지만 모든 카메라를 한곳 (22 번째 층) 으로 맞추고, 그 한곳의 화면만 선명하게 편집하면 훨씬 정확한 장면을 뽑아낼 수 있습니다.

🔍 핵심 아이디어 3: 열화상 카메라로 범인 잡기

• AI 가 모은 시선 (Attention) 을 **열화상 카메라 (Heatmap)**처럼 시각화합니다. 여기서 가장 뜨겁게 빛나는 부분 (중요한 영역) 을 찾아냅니다.
• 그리고 AttnDetector라는 작은 AI 가 이 열화상 이미지를 보고, "아, 여기가 중요하네. 이 부분을 잘라내자"라고 자동으로 박스 (좌표) 를 그립니다.
• 결과: AI 가 직접 숫자를 계산할 필요가 없어져서, 실수가 거의 없고 훨씬 정확하게 중요한 부분을 확대 (Zoom-in) 할 수 있습니다.

---

🚀 3. 실제 효과: 더 빠르고, 더 정확하게

이 방법을 적용한 결과, 기존 방식들보다 훨씬 뛰어난 성과를 보였습니다.

• 정확도 향상: 고해상도 이미지나 복잡한 차트, 문서 속 작은 글씨를 읽는 능력 (OCR) 이 크게 향상되었습니다.
• 속도: 다른 방법들처럼 여러 번 시도하며 찾아다니는 (Search) 방식이 아니라, 한 번에 정확한 곳을 찾아내므로 처리 속도가 훨씬 빠릅니다. (예: ZoomEye 라는 다른 방법은 50 초 걸리는데, 이 방법은 12 초 만에 끝냅니다.)
• 안정성: 어떤 질문을 던져도 AI 가 혼란스러워하지 않고, 항상 중요한 부분에 초점을 맞춥니다.

📝 요약: 한 마디로 설명하면?

"ConFoThinking 은 AI 가 사진을 볼 때, 막연하게 전체를 훑어보거나 엉뚱한 좌표를 입력하는 대신, '무엇을 봐야 하는지' 스스로 요약한 뒤, 그 시선을 한곳으로 모아서 중요한 부분만 선명하게 확대해 답을 찾는 똑똑한 방법입니다."

이 기술은 AI 가 인간의 눈처럼 정확하게 '눈을 맞추는' 능력을 갖게 하여, 의료 영상 분석, 문서 검색, 복잡한 데이터 분석 등 다양한 분야에서 큰 도움을 줄 것으로 기대됩니다.

기술 요약

ConFoThinking: 시각적 질문 응답 (VQA) 을 위한 통합된 집중 주의 기반 사고 프레임워크

이 논문은 멀티모달 대형 언어 모델 (MLLM) 이 고해상도 이미지에서 미세한 세부 사항을 파악하고 시각적 증거를 기반으로 추론하는 능력을 향상시키기 위해 제안된 ConFoThinking (Consolidated Focused Attention Driven Thinking) 프레임워크에 대해 설명합니다.

1. 문제 정의 (Problem)

기존의 "이미지를 통한 사고 (Thinking with Images)" 접근법은 MLLM 이 시각적 증거를 확보하기 위해 이미지를 잘라내거나 확대 (Zoom-in) 하는 도구를 사용합니다. 그러나 이러한 방법들은 두 가지 주요 한계를 가지고 있습니다.

1. 좌표 생성의 불안정성 (Tool-augmented methods): 모델이 직접 바운딩 박스 (Bounding Box) 좌표를 텍스트 토큰으로 생성하게 하는 방식은 좌표가 연속적인 기하학적 변수임에도 불구하고 이산적인 토큰으로 디코딩되어야 하기 때문에 오류가 발생하기 쉽습니다. 분석 결과, 모델은 내부적으로 올바른 영역을 주시하고 있음에도 불구하고 (Intermediate layer), 좌표를 생성하는 후기 레이어 (Late layer) 에서 주의가 흐트러져 잘못된 좌표를 출력하는 Grounding-Perception Mismatch 현상이 발생했습니다.
2. 주의 신호의 분산 및 노이즈 (Attention-driven methods): 기존 주의 맵 (Attention Map) 을 기반으로 관심 영역 (ROI) 을 찾는 방법들은 두 가지 문제를 겪습니다.
   • 레이어별 분산: "어디를 봐야 하는가 (Where-to-look)"에 대한 주의 신호가 고정된 하나의 레이어에 집중되지 않고 여러 레이어에 흩어져 있어, 어떤 레이어를 선택하든 불안정합니다.
   • 쿼리 민감도: 긴 질문이나 불필요한 텍스트를 기반으로 주의 맵을 추출하면 시각적 신호가 희석되고 노이즈가 많아져 정확한 ROI 를 찾기 어렵습니다.

2. 방법론 (Methodology)

ConFoThinking 은 모델이 직접 좌표를 생성하는 대신, **의미론적 집중 신호 (Semantic Focus Cue)**를 생성하고 이를 기반으로 주의 맵을 안정화하여 ROI 를 찾는 새로운 패러다임을 제시합니다.

핵심 구성 요소

1. 의미론적 집중 시각적 사고 (Semantically Guided Visual Chain of Thought):

   • 모델이 직접 좌표를 출력하는 대신, <FOCUS>...</FOCUS> 태그로 감싸진 간결한 의미론적 힌트를 생성하도록 훈련합니다.
   • 예: "위쪽 중앙에 있는 큰 글씨가 확인해야 할 요소입니다."와 같은 문장.
   • 이는 질문의 불필요한 정보를 제거하고 모델이 어떤 시각적 증거에 집중해야 하는지 명확히 합니다.

2. 지정된 레이어로의 주의 통합 (Designated-Layer Attention Aggregation):

   • 흩어진 주의 신호를 하나의 **지정된 중간 레이어 (예: Qwen3-VL-8B 의 경우 Layer 22)**로 통합 (Condense) 합니다.
   • <FOCUS> 태그 내의 토큰을 쿼리로 사용하여 해당 레이어의 텍스트 - 이미지 주의 맵을 추출합니다.
   • **Attention Condensation Loss (LAC)**를 사용하여 모델이 이 지정된 레이어에서 목표 영역 (Ground Truth) 에 집중하도록 학습시킵니다. 이를 통해 고정된 레이어에서도 안정적이고 명확한 히트맵을 얻을 수 있습니다.

3. 히트맵 - 박스 예측기 (AttnDetector):

   • 통합된 주의 히트맵을 입력받아 최종 바운딩 박스 좌표를 예측하는 별도의 경량 탐지기 (Transformer 기반) 를 학습시킵니다.
   • 이 단계에서 모델은 좌표를 직접 생성하지 않고, 학습된 탐지기가 히트맵을 기반으로 정확한 좌표를 도출합니다.

전체 파이프라인

1. ConFoAttn: 이미지와 질문을 입력받아 <FOCUS> 힌트와 함께 추론 과정을 생성합니다.
2. Attention Extraction: 생성된 <FOCUS> 힌트를 쿼리로 사용하여 지정된 레이어의 주의 히트맵을 추출합니다.
3. AttnDetector: 히트맵을 입력받아 ROI 의 바운딩 박스 좌표를 예측합니다.
4. Zoom & Answer: 예측된 영역을 확대 (Zoom-in) 하여 원본 이미지와 함께 다시 MLLM 에 입력하고 최종 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

• MLLM 의 '어디를 봐야 하는가' 신호에 대한 해석 가능성 연구: 좌표 출력 파이프라인에서의 'Grounding-Perception Mismatch'와 레이어 간 주의 신호의 분산, 그리고 쿼리 민감성이라는 세 가지 실패 모드를 실증적으로 규명했습니다.
• ConFoThinking 프레임워크 제안: "무엇을 볼 것인가 (간결한 <FOCUS> 힌트)"와 "어디를 볼 것인가 (지정된 레이어로의 주의 통합)"를 분리하여, 좌표 생성의 불안정성을 해결하고 안정적인 ROI 로컬라이제이션을 가능하게 했습니다.
• 성능 향상: 5 개의 다양한 VQA 벤치마크에서 기존 방법론 (Tool-augmented 및 Attention-driven) 보다 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크: V*, HR-Bench (4K/8K), InfoVQA, GQA 등 5 개 벤치마크에서 평가되었습니다.
• 성능: ConFoThinking 은 Qwen3-VL-8B 기반 모델에서 V* 벤치마크에서 94.8의 정확도를 기록하여 기존 최상위 모델 (SOTA) 들을 능가했습니다. 특히 고해상도 이미지 인식 및 OCR 이해 분야에서 큰 향상을 보였습니다.
• 효율성: ZoomEye 와 같은 다단계 탐색 기반 방법론에 비해 추론 속도가 약 5 배 빠르며 (샘플당 12.1 초 vs 49.8 초), 비용 효율성이 뛰어납니다.
• Ablation Study:
  • <FOOCUS> 힌트 사용이 일반 질문보다 주의 추출 정확도를 높임.
  • 단일 지정 레이어 추출이 여러 레이어를 평균화하는 것보다 더 정확한 ROI 를 제공함.
  • 주의 통합 (Attention Condensation) 학습을 통해 지정된 레이어 (Layer 22) 에서의 피크 주의 비율이 19.3% 에서 **63.7%**로 크게 증가하여 신호가 안정화됨을 확인.

5. 의의 (Significance)

ConFoThinking 은 MLLM 이 복잡한 시각적 추론을 수행할 때, 불안정한 좌표 생성에 의존하지 않고 모델 내부의 주의 메커니즘을 안정화하여 정확한 시각적 증거를 확보할 수 있음을 증명했습니다. 이는 고해상도 이미지 분석, 미세한 세부 사항 인식, 그리고 신뢰할 수 있는 멀티모달 추론을 위한 새로운 표준을 제시하며, 향후 MLLM 의 시각적 이해 능력을 한 단계 도약시키는 중요한 기여를 합니다.