논문 요약: Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping (AttWarp)

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 이 복잡한 장면에서 작은 세부 사항이나 공간적 관계를 놓치는 문제를 해결하기 위해 제안된 AttWarp(Attention-Guided Image Warping) 방법을 소개합니다. AttWarp 는 모델의 가중치나 아키텍처를 변경하지 않고, 테스트 시 입력 이미지의 해상도를 쿼리 (질문) 와 관련된 영역에 집중시키는 '구축적 왜곡 (Constructive Distortion)' 기법을 통해 성능을 획기적으로 개선합니다.

1. 문제 정의 (Problem)

• 세부 사항 인식 부족: 기존 MLLM 은 혼잡한 장면에서 작은 객체를 식별하거나, 유사한 객체를 구분하며, 복잡한 공간적 관계를 이해하는 데 어려움을 겪습니다.
• 할루시네이션 (Hallucination): 모델이 이미지에 존재하지 않는 세부 사항을 생성하거나 잘못된 추론을 하는 경우가 빈번합니다.
• 고정된 해상도 한계: 대부분의 MLLM 은 입력 이미지를 고정된 크기로 리사이징하거나 패치화하여 처리하므로, 중요한 세부 정보가 있는 영역이 해상도 손실로 인해 소실되거나, 전체적인 맥락 (Global Context) 을 유지하면서 중요한 부분만 확대하는 것이 어렵습니다.
• 기존 방법의 한계: 기존 연구들은 자르기 (Cropping), 가림 (Masking), 또는 추가적인 검출기 (Detector) 를 사용하는 방식인데, 이는 전체적인 맥락을 잃거나 계산 비용이 많이 들고, 모델의 내부 어텐션 메커니즘을 직접 활용하지 못합니다.

2. 방법론 (Methodology)

저자들은 인간의 시선이 중요한 영역에 고해상도 자원을 할당하고 주변부는 저해상도로 처리하는 '주변 시야 (Peripheral Vision)'와 '중앙 시야 (Foveal Vision)'의 상호작용에서 영감을 받았습니다.

핵심 아이디어: AttWarp

AttWarp 는 모델이 생성한 **크로스-모달 어텐션 맵 (Cross-modal Attention Maps)**을 활용하여 입력 이미지를 비균일하게 재샘플링 (Resampling) 하는 기술입니다.

1. 어텐션 추출: 주어진 이미지와 질문 (Query) 에 대해 MLLM 의 언어 디코더 (Language Decoder) 에서 크로스-어텐션 맵을 추출합니다.
2. 마진널 프로파일 (Marginal Profiles) 생성: 2 차원 어텐션 맵을 가로 (X 축) 와 세로 (Y 축) 방향으로 합산하여 1 차원 어텐션 점수 분포 (PDF) 를 생성합니다. 이는 이미지의 각 행과 열이 질문과 얼마나 관련 있는지를 나타냅니다.
3. 직선형 왜곡 (Rectilinear Warping):
   • 축별 어텐션 분포를 누적 분포 함수 (CDF) 로 변환한 후, 이를 역변환 (Inverse CDF) 하여 왜곡 함수를 정의합니다.
   • 높은 어텐션 영역: 이미지의 해당 영역을 공간적으로 확대 (Magnify) 하여 더 많은 픽셀 (해상도) 을 할당합니다.
   • 낮은 어텐션 영역: 해당 영역을 압축 (Compress) 하여 공간을 절약합니다.
   • 전체 맥락 보존: 이 과정은 이미지를 잘라내거나 가리는 것이 아니라, 모든 원본 정보를 보존하면서 비균일하게 재배치하므로 (Rectilinear), 전역적인 공간 구조와 객체 간 관계가 유지됩니다.
4. 재실행: 왜곡된 이미지를 동일한 MLLM 에 다시 입력하여 정답을 생성합니다.

확장 변형

• AttWarp-Chain (Iterative): 한 번의 왜곡으로 충분하지 않을 수 있으므로, 왜곡된 이미지를 다시 입력하여 새로운 어텐션 맵을 추출하고 이를 기반으로 다시 왜곡하는 반복적 자기 수정 (Self-correction) 루프를 도입합니다. 어텐션 분포가 안정화될 때까지 반복합니다.
• AttWarp-Distill (Efficient): 테스트 시 어텐션 맵을 추출하는 과정의 지연을 줄이기 위해, 이미지 - 텍스트 쌍으로부터 직접 마진널 프로파일을 예측하는 경량화된 학생 모델 (Distillation) 을 학습시킵니다. 이를 통해 어텐션 추출 없이 한 번의 패스로 왜곡을 수행할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 경량화된 플러그 - 앤 - 플레이 (Plug-and-Play) 방법: MLLM 의 가중치나 아키텍처를 수정하지 않고, 특징 추출 (Feature Extraction) 전에 입력 이미지를 변형하여 미세한 지각 (Fine-grained Perception) 문제를 해결합니다.
2. 광범위한 성능 향상: 9 개의 벤치마크 (TextVQA, GQA, DocVQA, POPE, MMMU 등) 와 4 가지 MLLM 아키텍처 (LLaVA, Qwen-VL, InternVL, InstructBLIP) 에서 일관되게 정확도를 향상시키고 할루시네이션을 줄였습니다.
3. 전체 맥락 보존과 정보 보존: 기존 자르기 (Cropping) 방식과 달리, 모든 원본 정보를 보존하면서 중요한 영역만 확대하므로 공간 추론 능력을 유지합니다.
4. 데이터 분포 보존 (Distribution Preservation): 직선형 (Rectilinear) 왜곡은 CLIP 과 같은 비전 인코더가 학습한 데이터 매니폴드 (Manifold) 를 크게 벗어나지 않아, 모델이 훈련된 분포와 유사한 입력을 받게 합니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • TextVQA: LLaVA 기준 49.3% → 58.1% (AttWarp), 60.3% (AttWarp-Chain) 로 대폭 향상.
  • GQA: 60.5% → 63.7% (AttWarp), 64.4% (AttWarp-Chain).
  • DocVQA: 문서 내 텍스트 이해 및 구조 추론에서 큰 개선 (LLaVA 기준 18.1% → 27.6%).
  • POPE (할루시네이션 평가): 85.3% → 88.2% 로 할루시네이션 감소.
  • MMMU, BLINK, RealWorldQA 등: 다양한 과업에서 SOTA(최고 성능) 또는 강력한 경쟁력을 보임.
• 비교 Baseline: FGVP(가림/블러), SoM(시각적 마커), API(알파 블렌딩), ViCrop(자르기) 등 기존 테스트 시간 이미지 조작 방법들보다 일관되게 우수한 성능을 보였습니다. 특히 ViCrop 은 두 개의 이미지를 입력받아야 하는 반면, AttWarp 는 단일 이미지로 더 적은 계산 비용으로 더 좋은 결과를 냈습니다.
• 계산 효율성: AttWarp-Distill 은 ViCrop 대비 약 3 배 빠르고, VRAM 사용량도 낮아 실시간 적용에 유리합니다.
• 어텐션 분석: 왜곡 후 모델의 어텐션 맵이 정답 영역 (Ground Truth) 에 더 집중하게 되었으며 (Pointing Game Accuracy 증가), 모델의 불확실성이 감소함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 **입력 수준의 정보 보존 변환 (Input-level information-preserving transformation)**이 MLLM 의 성능을 획기적으로 개선할 수 있음을 증명했습니다.

• 패러다임 전환: 기존에는 모델 내부의 어텐션 메커니즘을 개선하거나 추가적인 학습을 통해 문제를 해결하려 했으나, AttWarp 는 입력 데이터 자체를 모델의 어텐션에 맞춰 '왜곡'함으로써 동일한 모델이 더 잘 보게 만듭니다.
• 실용성: 추가적인 학습 (Fine-tuning) 이나 복잡한 아키텍처 변경 없이도, 기존 모델에 즉시 적용 가능한 '테스트 시간 적응 (Test-time Adaptation)' 기법으로서의 가치가 큽니다.
• 미래 방향: 작은 객체 인식, 공간 추론, 할루시네이션 감소 등 MLLM 의 주요 약점을 해결하는 강력한 도구로, 향후 멀티모달 시스템의 지각 능력을 향상시키는 표준적인 접근법으로 자리 잡을 가능성이 높습니다.

요약하자면, AttWarp 는 "모델이 무엇을 보아야 할지 이미 알고 있다면, 그 부분을 확대해서 보여주고 나머지는 줄여라"는 직관을 수학적으로 구현하여, MLLM 의 지각 한계를 극복한 획기적인 연구입니다.