🤖 AI

Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning

이 논문은 일반적인 어텐션 맵과 태스크 특화된 어텐션 맵 사이의 대비를 활용하여 시각적 노이즈를 필터링하고 집중도를 정교화함으로써, 추가적인 학습이나 외부 도구 없이도 시각적 추론 능력을 향상시키는 훈련이 필요 없는 방법론인 CARVE를 제안한다.

원저자: Yuyao Ge, Shenghua Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Xuanshan Zhou, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuyao Ge, Shenghua Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Xuanshan Zhou, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서, 동시에 보고 말할 수 있는 특정 유형의 컴퓨터 프로그램이 등장했습니다. 시각-언어 모델(vision-language models)이라고 알려진 이 시스템들은 방대한 이미지와 텍스트 라이브러리를 통해 학습되어, 자신이 보고 있는 것에 대해 질문에 답하거나, 장면을 묘사하거나, 사진 속의 표지판을 읽을 수 있습니다. 이들은 많은 작업에서 놀라울 정도로 우수해졌지만, 시각적 세계가 복잡해지면 여전히 어려움을 겪습니다. 마치 사람이 혼란스러운 인파와 밝은 광고판에 둘러싸여 있으면 표지판의 단어 하나를 읽기 어려워하는 것처럼, 이 컴퓨터 프로그램들도 물체 주변의 시각적 소음 때문에 주의력이 분산되곤 합니다. 이미지가 질감, 색상 또는 너무 많은 경쟁적인 물체들로 너무 복-잡하면, 모델의 내부 초점이 흩어져 특정 세부 사항을 정확히 파악하여 질문에 답하는 데 실패하게 됩니다. 이러한 한계는 단순한 사소한 결함이 아니라, 이 도구들을 복잡하고 무질서한 실제 세계에서 신뢰할 수 있게 만드는 데 있어 근본적인 장벽을 의미합니다.

연구자들은 오랫동안 문제가 모델이 어떻게 주의를 기울이는지에 있다고 의심해 왔습니다. 배경을 무시하는 대신, 모델은 배경에 압도되어 관련 있는 부분에 집중하기보다는 이미지 전체에 정신적 에너지를 분산시키는 것처럼 보입니다. 중국 계산기술연구소와 캘리포니아 대학교 머세드 캠퍼스의 새로운 연구는 이것이 정확히 어떻게 발생하는지를 조사하고, 모델을 재학습시킬 필요가 없는 영리한 해결책을 제시합니다. 연구팀은 이미지의 패턴과 색상이 복잡할수록 모델의 주의력이 더 많이 분산된다는 것을 발견했습니다. 그들은 이러한 분산 현상이 오류와 직접적으로 연결되어 있음을 발견했습니다. 즉, 모델의 초점이 확산되면 정확도가 떨어집니다. 하지만 연구진은 모델이 항상 실패하는 것은 아니라는 점도 주목했습니다. 모델은 비록 완전히 집중하지는 못하더라도, 종종 어디를 보아야 할지는 알고 있습니다. 핵심은 모델이 질문에 답하기 전에 시각적 혼란을 걸러낼 수 있도록 돕는 것이었습니다.

이를 해결하기 위해 연구진은 CARVE(Contrastive Attention Refinement for Visual Enhancement, 시각적 강화를 위한 대조적 주의력 정제)라고 부르는 방법을 개발했습니다. 핵심 아이디어는 놀라울 정도로 간단합니다. 모델에게 이미지를 두 가지 다른 방식으로 보게 하고 그 결과를 비교하도록 하는 것입니다. 먼저, 연구진은 모델에게 "이미지에 대한 일반적인 설명을 작성하라"와 같이 매우 폭넓고 일반적인 질문을 던집니다. 이 상태에서 모델은 전체 그림을 스캔하며, 모델의 어텐션 맵(attention map, 모델이 보고 있는 곳을 나타내는 디지털 표현)은 모든 것을 덮는 넓고 흐릿한 그물처럼 보입니다. 이 넓은 스캔은 시스템을 혼란스럽게 만들 수 있는 시각적 소음, 즉 질감과 색상을 포착합니다. 다음으로, "컵 손잡이를 통해 보이는 모양은 무엇인가?"와 같이 실제로 답하고자 하는 구체적인 질문을 던집니다. 이 상태에서 모델은 답에 집중하려고 노력하지만, 혼란스러운 이미지에서는 주변의 무질서함에 의해 주의력이 여러 방향으로 끌려갑니다.

이 두 상태를 수학적으로 비교함으로써, 연구진은 신호와 소음을 분리할 수 있습니다. 그들은 폭넓고 일반적인 스캔을 시각적 혼란의 지도로 취급하고, 구체적인 질문의 스캔을 의도된 초점의 지도로 취급합니다. 이 둘을 대조하면, 답변에 중요한 이미지 부분은 두드러지는 반면, 주의를 분산시키는 배경은 사라집니다. 이는 마치 두 장의 투명 필름을 빛에 비추어 보는 것과 같습니다. 하나는 지저도한 방 전체를 보여주고, 다른 하나는 사람이 보려고 하는 곳을 보여줍니다. 두 필름이 겹치는 지점에서 실제 목표물이 명확해집니다. 연구진은 이 비교를 사용하여 시각적 배경을 물리적으로 잘라내는 디지털 마스크를 생성하여, 필수적인 부분만을 남깁니다. 그런 다음 이 정제된 이미지를 모델에 다시 입력하여 최종 답변을 생성합니다.

이 접근 방식의 결과는 놀랍습니다. 연구팀은 복잡한 문서에서 텍스트를 읽는 것부터 붐비는 장면에서 작은 물체를 식별하는 것까지 7가지의 서로 다른 벤치마크를 통해 이 방법을 테스트했습니다. 그들은 단순히 시각적 소음을 제거하는 것만으로 모델이 업무를 수행하는 능력이 크게 향상됨을 발견했습니다. 일부 작업에서는 개선 효과가 극적이었습니다. 예를 들어, 지저분한 장면 속에 숨겨진 특정 물체를 찾는 테스트에서, 기존 모델의 정확도는 약 39%에서 거의 67%로 급증했습니다. 더 새롭고 진보된 모델들도 일관된 이득을 보여주며, 시각적 산만함의 문제가 모든 모델에 영향을 미친다는 것을 증명했습니다. 이 방법은 모델에게 새로운 것을 가르칠 필요 없이, 불필요한 세부 사항을 제거하여 모델의 시야를 날카롭게 만드는 렌즈 역할을 하는 '학습이 필요 없는(training-free)' 기술입니다.

이 발견이 특히 가치 있는 이유는 차트 읽기부터 과학 질문 답변에 이르기까지 다양한 유형의 모델과 작업에 걸쳐 작동한다는 점입니다. 연구진은 시각적으로 까다로운 작업일수록 모델이 이 정제 과정으로부터 더 많은 혜택을 받는다는 것을 보여주었습니다. 이미지가 단순할 때 모델은 많은 도움을 필요로 하지 않지만, 장면이 혼란스러울 때 배경을 무시하는 능력은 정답과 완전한 실패 사이의 차이를 만듭니다. 또한 이 기술은 모델이 사고 과정의 특정 단계에서 이미지를 보도록 요청될 때 가장 효과적이라는 점을 밝혀냈으며, 이는 개입의 타이밍이 개입 자체만큼이나 중요하다는 것을 시사합니다.

이 방법이 강력하긴 하지만, 연구진은 그 경계에 대해서도 주의 깊게 언급합니다. 이 방법은 표지판을 읽거나 작은 물체를 찾는 것과 같이 답이 이미지의 특정 국소 부위에 숨겨져 있는 작업에서 탁월한 성능을 발휘합니다. 그러나 작업이 장면 전체의 객체 간 관계를 이해하거나 깊이와 거리를 판단해야 하는 경우, 배경을 잘라내는 것이 문제를 해결하는 데 필요한 맥-록(context)을 제거할 수도 있습니다. 그런 경우에는 이 방법이 자연스럽게 물러나, 배경이 너무 방해가 되지 않는 한 모델이 전체 이미지를 볼 수 있도록 허용합니다. 이러한 균형은 이 도구가 방해가 아닌 도움이 되도록 보장합니다.

이 연구의 함의는 단순히 테스트 점수를 높이는 것을 넘어섭니다. 이는 인공지능이 시각적 세계와 상호작용하는 방식에 대한 새로운 관점을 제공합니다. 더 크고 복잡한 모델을 구축하여 스스로 주의 산만함을 극복하도록 만드는 대신, 이 접근 방식은 우리가 그들이 보는 것을 선별함으로써 도울 수 있다는 것을 시사합니다. 모델 고유의 주의 메커니즘을 사용하여 노이즈를 식별하고 제거함으로써, 우리는 이전에는 도달할 수 없었던 명료함의 수준을 끌어올릴 수 있습니다. 이 연구는 때때로 컴퓨터가 더 잘 보게 돕는 최선의 방법은 더 많은 데이터를 주는 것이 아니라, 더 적은 것을 보여주는 것임을 입증합니다.

기술 요약: 대비적 주의 집중(CARVE)을 통한 초점 맞추기

1. 문제 정의

시각-언어 모델(VLM)은 다양한 작업에서 놀라운 성공을 거두었으나, 복잡한 시각적 환경에서는 성능 저하를 보입니다. 저자들은 인간의 시각과 유사하게, 복잡한 시각적 특징(풍부한 질감과 색상)이 VLM의 주의(attention)를 작업 관련 영역으로부터 분산시키는지 조사합니다.

정량적 분석을 통해, 본 논문은 세 가지 핵심 발견을 확립합니다:

복잡성과의 상관관계: 시각적 복 complexity(질감 밀도와 색상 다양성으로 정의됨)는 높은 주의 엔트로피(attention entropy)와 강한 상관관계를 가집니다.
주의 분산: 높은 주의 엔트로피(분산된 주의)는 추론 정확도에 부정적인 영향을 미칩니다. 일반적으로 주의는 얕은 층에서 전역적 스캐닝에서 시작하여 깊은 층으로 갈수록 집중된 수렴을 이루지만, 복잡한 장면은 이러한 수렴을 방해하여 깊은 층에서도 주의가 분산된 상태로 남게 합니다.
성능 저하: 주의 엔트로피와 작업 정확도 사이에는 강한 음의 상관관계가 존재합니다. 즉, 엔트로피가 증가함에 따라 성능은 크게 떨어집니다.

기존의 향상 방법들은 종종 추가 학습을 요구하거나, 외부 세그멘테이션 도구(예: SAM, YOLO)에 의존하거나, 혹은 조립한 수준(coarse-grained)에서 작동하며, 신호와 노이즈를 구분하기 위해 VLM 고유의 주의 메커니즘을 활용하는 데 실패합니다.

2. 방법론: CARVE

저자들은 주의 맵(attention map)을 대비(contrast)함으로써 작업 관련 시각적 신호를 추출하는 학습이 필요 없는 방법인 **CARVE(Contrastive Attention Refinement for Visual Enhancement)**를 제안합니다.

이론적 토대

이 방법은 주의 맵 $A$ 의 **곱셈적 분해 가정(multiplicative decomposition assumption)**에 기반합니다:
$A^{(Q)}_{l,t}(I) = F_{vis}(I) \otimes F_{sem}(Q, I)$
여기서:

$F_{vis}(I)$ 는 이미지 고유의 시각적 노이즈(특정 질문과는 독립적임)를 나타냅니다.
$F_{sem}(Q, I)$ 는 작업 관련 시맨틱 신호를 나타냅니다.
$\otimes$ 는 아다마르 곱(Hadamard product, 원소별 곱)을 의미합니다.

저자들은 시각적 노이즈가 주의 가중치에 공간적으로 변화하는 이득(gain) 역할을 한다고 주장합니다. 따라서 덧셈적 방식보다 곱셈적 대비가 더 적절한데, 이는 나눗셈을 통해 이질적인 노이즈 크기를 정규화할 수 있기 때문입니다.

작동 메커니즘

CARVE는 세 단계로 작동합니다:

일반 지시문 추론(General Instruction Inference): 모델이 작업 불가지론적 프롬프트(예: "이미지에 대한 일반적인 설명을 작성하세요")와 함께 이미지를 처리합니다. 이는 시각적 노이즈 성분인 $F_{vis}(I)$ 를 근사하는 주의 맵 $A^{(G)}$ 를 생성합니다. 왜냐하면 특정 시맨틱 단서가 부족하기 때문에 시맨틱 신호가 거의 균일( $F_{sem} \approx \mathbf{1}$ )하게 나타나기 때문입니다.
작업 특화 추론(Task-Specific Inference): 모델이 실제 작업 질문 $Q$ 와 함께 이미지를 처리하여 $A^{(Q)}$ 를 생성합니다.
대비적 정제(Contrastive Refinement): 두 맵을 대비하여 시맨틱 신호를 추정합니다:
$\hat{A}_i = \frac{A^{(Q)}_i}{A^{(G)}_i + \lambda}$
이 연산은 $F_{vis}(I)$ 가 지배적일 때 그 영향을 억제하여 시맨틱 신호를 고립시킵니다.

시각적 추출

정제된 주의 맵 $\hat{A}$ 는 여러 층(layers)과 타임 스텝(time steps)에 걸쳐 융합되고, 임계값 처리(top- $p$ 백분위수)를 거쳐 이진 마스크(binary mask)를 생성합니다. 이 마스크는 원본 이미지에 적용되어 작업 관련 영역을 크롭(crop)하고 확대하며, 최종 추론 단계 이전에 시각적 노이즈를 효과적으로 제거합니다.

3. 주요 기여

경험적 발견: 본 논문은 시각적 복잡성이 주의 분산(높은 엔트로피)을 유발하며, 이것이 VLM의 추론 실패와 직접적으로 연관되어 있다는 정량적 증거를 제공합니다.
이론적 통찰: 주의에 대한 곱셈적 분해 모델을 제 제안하며, 일반 지시문과 특정 지시문을 대비하는 것이 시각적 노이즈와 시맨틱 신호를 근사적으로 분리할 수 있음을 입증합니다.
학습이 필요 없는 방법(Training-Free): CARVE는 미세 조정(fine-tuning), 외부 세그멘테이션 도구, 또는 추가 데이터 없이 시각적 향상을 달성합니다. 이는 오직 모델 내부의 주의 메커니즘에만 의존합니다.
강건성(Robustness): 이 방법은 다양한 모델 아키텍처(Qwen2.5-VL, LLaVA-1.5)와 스케일에서 검증되었으며, 일관된 개선 효과를 보여줍니다.

4. 실험 결과

저자들은 A-OKVQA, POPE, V*, TextVQA, DocVQA, ChartQA, ScienceQA 등 7개의 벤치마크에서 CARVE를 평가했습니다.

성능 향상: CARVE는 테스트된 모든 모델과 데이터셋에서 성능을 향상시켰습니다.
- TextVQA: 주목할 만한 이득이 관찰되었습니다. Qwen2.5-VL-7B는 75.0%에서 81.9%로(+9.20%), LLaVA-1.5-7B는 47.8%에서 58.2%로(+21.76%) 개선되었습니다.
- V (세밀한 탐색):* 이 혼잡한 장면 벤치마크에서 엄청난 개선을 보였습니다. LLaVA-1.5-7B는 38.7%에서 66.5%로(+27.8%) 급증했습니다. 통계적 분석(McNemar's test)을 통해 이러한 이득이 유의미함( $p < 0.001$ )을 확인했습니다.
- 문서 및 차트 QA: DocVQA(Qwen2.5-VL-3B 기준 최대 +24.14% 상대적 이득)와 ChartQA에서 상당한 개선이 나타났습니다.
비교: CARVE는 외부 세그멘테이션 모델을 사용하지 않음에도 불구하고, ViCrop와 같은 동시대의 학습이 필요 없는 방법들이나 SAM, YOLO, CLIP과 같은 외부 도구 기반 접근 방식보다 높은 정확도를 보였습니다.
절제 연구(Ablation Studies):
- 분해(Decomposition): 곱셈적 대비가 덧셈적 대비보다 우수한 성능을 보여, '노이즈=이득' 가설을 검증했습니다.
- 층 선택(Layer Selection): 주의가 깊은 층에서 수렴한다는 발견과 일치하게, 깊은 층(예: 20-25번 층)의 주의를 융합하는 것이 더 나은 결과를 냈습니다.
- 타임 스텝(Time Steps): 마지막 생성 토큰( $t_{end}$ )의 주의를 사용하는 것이 일반적으로 초기 토큰보다 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 CARVE가 모델 고유의 주의 메커니즘을 활용하여 노이즈를 필터링함으로써 시각적 추론을 개선하는 효과적인 전략을 제공한다고 주장합니다.

제한적 범위: 저자들은 CARVE가 국소적이고 세밀한 인지가 필요한 작업(예: 텍스트 인식, 혼잡 속 작은 대상 식별)에 가장 효과적이라고 명시합니다.
한계점: 마스킹된 배경 영역이 필요한 문맥적 단서를 제거하기 때문에, 전역적 공간 문맥이 필요한 작업(예: 깊이 순서 또는 객체 간 관계 추론)에서는 성능이 저하될 수 있습니다. 이러한 경우, 마스킹 임계값이 1.0에 가까워짐에 따라 방법은 자연스럽게 기존 모델(vanilla model)의 성능으로 회귀합니다.
비용: 이 방법은 약 3회의 순방향 패스(주의 추출을 위한 2회, 최종 추론을 위한 1회)의 추론 오버헤드를 발생시키지만, 저자들은 조기 종료(early termination) 및 캐싱 전략을 통해 이 비용을 완화할 수 있다고 언급합니다.

결론적으로, 본 논문은 시각적 복잡성이 VLM 추론 실패의 주요 원인이며, 대비적 주의(contrastive attention)가 이 문제를 완화하기 위한 강력하고 학습이 필요 없는 메커니즘임을 입증합니다.