🤖 AI

CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

이 논문은 BLIP-2 와 같은 대규모 멀티모달 모델의 추론 시 계산 효율성과 정확도 간의 균형을 맞추기 위해 교차 어텐션 레이어를 활용하여 토큰 중요도를 정밀하게 판단하는 'CATP(Cross-Attention Token Pruning)' 방법을 제안합니다.

원저자: Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

게시일 2026-02-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 CATP: 멀티모달 모델의 '지능적인 정리' 방법

이 논문은 BLIP-2라는 최신 인공지능 모델이 이미지를 보고 질문에 답할 때, 너무 많은 정보를 처리하다 지치거나 실수를 하는 문제를 해결하기 위해 제안된 새로운 방법인 CATP에 대해 설명합니다.

간단히 말해, **"어떤 정보는 버리고, 어떤 정보는 꼭 남겨야 할지 지혜롭게 판단하는 기술"**입니다.

1. 배경: 왜 이런 기술이 필요할까요? (비유: 거대한 도서관)

BLIP-2 모델은 **이미지 (사진)**와 **텍스트 (질문)**를 동시에 이해하는 아주 똑똑한 AI 입니다. 하지만 이 모델은 매우 무겁습니다. 마치 수백만 권의 책이 꽉 찬 거대한 도서관을 한 번에 훑어보며 답을 찾아야 하는 상황과 같습니다.

문제점: 도서관의 책 (데이터) 이 너무 많으면, AI 가 답을 찾는 데 시간이 너무 오래 걸리고, 중요한 책 (정보) 을 놓치거나 헷갈려서 엉뚱한 답을 내놓을 수 있습니다.
기존 방식의 한계: 기존에는 "책 두께 (크기)"나 "자신의 위치 (자기 주위)"만 보고 책을 버리는 방법을 썼는데, 이렇게 하면 중요한 책까지 버려서 정답률이 뚝 떨어지는 문제가 있었습니다.

2. CATP 의 핵심 아이디어: "이미지와 질문의 연결고리를 찾아라"

CATP 는 **"이미지의 어떤 부분이 질문과 가장 관련이 깊은가?"**를 기준으로 정보를 정리합니다.

🧩 비유: 파티에서의 초대장

Imagine(상상해 보세요) AI 가 거대한 파티를 열고 있습니다.

이미지 토큰 (Image Tokens): 파티에 온 수천 명의 손님들.
질문 토큰 (Query Tokens): 손님들에게 질문을 던지는 호스트.

기존 방식은 "옷차림이 화려한 사람 (크기가 큰 것)"이나 "자신과 가까운 사람 (자기 주위)"만 남기고 나머지를 쫓아냈습니다. 하지만 CATP 는 질문 (호스트) 과 가장 깊은 눈맞춤을 한 손님들을 찾아냅니다.

CATP 의 원리:
"이 질문을 던졌을 때, 이미지 속의 어떤 부분이 가장 강하게 반응했을까?"를 계산합니다. 이를 **크로스 어텐션 (Cross-Attention)**이라고 합니다.

3. CATP 가 어떻게 작동할까요? (비유: 투표 시스템)

CATP 는 단순히 점수를 합산하는 게 아니라, 정교한 투표 시스템을 사용합니다.

투표자 (이미지 조각): 이미지는 작은 조각 (패치) 들로 나뉩니다. 각 조각은 "이 질문 토큰이 내 이야기와 얼마나 관련이 있을까?"라고 투표합니다.
점수 부여: 관련이 깊을수록 더 많은 점수를 줍니다. (예: 가장 관련 깊은 조각은 10 점, 그 다음은 9 점...)
누적: 이 투표는 모델의 여러 층 (Layer) 과 여러 머리 (Head) 에서 동시에 일어납니다. 마치 여러 명의 전문가가 모여서 심사하는 것과 같습니다.
선별: 최종적으로 **가장 적은 점수 (가장 관련 없는 정보)**를 받은 질문 토큰들을 과감히 잘라냅니다 (Pruning).

결과: 중요한 정보만 남고, 잡음은 제거되어 AI 는 더 빠르고 정확하게 답을 할 수 있게 됩니다.

4. 실험 결과: 얼마나 효과가 좋을까요?

논문에서는 기존 방법들과 CATP 를 비교했습니다.

기존 방법 (L2-norm, 자기 주위만 보는 방법): 정보를 많이 버리면 정답률이 10% 미만으로 추락했습니다. (도서관의 핵심 책까지 다 버림)
CATP: 같은 비율로 정보를 버려도 정답률이 기존 방법보다 최대 12.1 배 더 높았습니다.
- 예: 정보를 8 분의 1 만 남겼을 때, 기존 방법은 거의 엉터리 답을 냈지만, CATP 는 여전히 30% 이상의 정확한 답을 냈습니다.

5. 추가 발견: "누구의 의견이 더 중요한가?"

연구자들은 더 나아가 두 가지 재미있는 사실을 발견했습니다.

이미지 조각의 중요도: 모든 이미지 조각이 동등하지 않습니다. CATP 는 **이미지 자체에서 중요한 부분 (자신에게 집중도가 높은 부분)**의 의견을 더 많이 반영하도록 '가중 투표'를 도입했습니다. (중요한 손님의 의견이 더 많이 반영됨)
층 (Layer) 의 중요도: 모델의 모든 층이 똑같이 중요한 것은 아닙니다. 처음과 마지막 층의 정보가 가장 가치 있었습니다. 중간 층보다는 시작과 끝의 연결고리가 더 중요하다는 뜻입니다.

📝 요약

CATP는 거대한 AI 모델이 이미지를 볼 때, "질문과 가장 관련 있는 부분만 남기고 나머지는 과감히 잘라내는" 지능적인 정리 기술입니다.

기존: 무작정 크기나 위치로 잘라냄 → 실수 많음.
CATP: 질문과 이미지의 '연결고리'를 분석해서 잘라냄 → 정확도는 유지하되 속도는 빨라짐.

이 기술은 앞으로 AI 가 더 빠르고 정확하게 세상을 이해하는 데 큰 도움을 줄 것으로 기대됩니다. 마치 가장 중요한 단서만 남기고 사건을 해결하는 명탐정처럼 말이죠! 🕵️‍♂️🔍

CATP: 정확도 보존을 위한 교차 어텐션 토큰 가지치기 (Cross-Attention Token Pruning)

1. 문제 정의 (Problem)

배경: 대규모 멀티모달 모델 (예: BLIP-2) 은 이미지 캡셔닝, 시각적 질문 응답 (VQA), 이미지 기반 대화 등 다양한 작업에 적용되고 있습니다. BLIP-2 는 고정된 이미지 인코더, 고정된 LLM, 그리고 비전 - 언어 간극을 연결하는 Q-Former 로 구성됩니다.
주요 병목 현상: BLIP-2 모델의 파라미터 중 약 87% (27 억 개) 가 LLM 디코더에 집중되어 있어, 추론 시간의 대부분을 차지합니다.
기존 방법의 한계: 기존에 제안된 가지치기 (Pruning) 전략들 (크기 기반 가지치기, 자기 어텐션 확률 기반 가지치기 등) 은 계산 비용을 줄일 수는 있으나, 멀티모달 모델에 적용 시 모델의 정확도가 급격히 떨어지는 문제가 발생했습니다. 특히 VQA 작업에서 기존 방법들은 매우 낮은 정확도를 보였습니다.
목표: 계산 효율성을 높이면서도 대규모 멀티모달 모델의 정확도를 유지할 수 있는 엔드 - 투 - 엔드 가지치기 파이프라인을 설계하는 것.

2. 방법론 (Methodology)

저자들은 CATP (Cross-Attention Token Pruning) 라는 새로운 토큰 단위 가지치기 방법을 제안했습니다. 핵심 아이디어는 LLM 디코더의 입력 쿼리 토큰 (Query Token) 의 중요도를 이미지 토큰과의 교차 어텐션 (Cross-Attention) 확률을 기반으로 평가하는 것입니다.

핵심 원리:
- Q-Former 의 교차 어텐션 레이어를 활용하여, 각 이미지 토큰이 각 쿼리 토큰과 얼마나 관련성이 있는지 (Cross-Attention Probability) 를 분석합니다.
- 단순히 확률을 합산하는 것은 Softmax 함수 특성상 1 이 되어 중요도 구분이 어렵기 때문에, 새로운 투표 전략 (Voting Strategy) 을 도입했습니다.
투표 전략 (Voting Scheme):
- 각 이미지 토큰은 교차 어텐션 확률에 따라 쿼리 토큰에게 점수를 부여합니다.
- 구체적으로, $L_0$ 개의 쿼리 토큰 중 $n$ 번째로 큰 교차 어텐션 확률을 가진 쿼리 토큰에게 $L_0 - n$ 점의 가중치를 부여합니다.
- 이 과정은 Q-Former 의 모든 레이어와 모든 어텐션 헤드 (Head) 에 걸쳐 수행되며, 누적된 점수가 각 쿼리 토큰의 최종 중요도 점수가 됩니다.
가지치기 수행: 중요도 점수가 가장 낮은 상위 $L_0 \times p$ (가지치기 비율 $p$ ) 개의 쿼리 토큰을 제거합니다.
고급 기법:
- 가중 투표 (Weighted Voting): 이미지 토큰 자체의 중요도 (자기 어텐션 점수 기반) 를 고려하여 투표 가중치를 조정하는 방식을 도입했습니다.
- 레이어 중요도 분석: 모든 교차 어텐션 레이어가 동일한 가치를 가지지 않으며, 초기 및 최종 레이어의 정보가 가지치기 결정에 더 중요함을 발견했습니다.

3. 주요 기여 (Key Contributions)

새로운 가지치기 프레임워크: 단일 모달리티 모델에 적용되던 기존 가지치기 방법과 달리, 멀티모달 모델의 특성을 반영한 교차 어텐션 기반 토큰 가지치기 (CATP) 를 최초로 제안했습니다.
정교한 중요도 산출 알고리즘: Softmax 확률의 한계를 극복하기 위해 다중 헤드 및 다중 레이어에 걸친 투표 메커니즘을 고안하여, 이미지와 텍스트 간의 관계를 더 정확하게 반영한 중요도 점수를 계산했습니다.
정확도 보존 최적화: 이미지 토큰의 중요도 가중치와 레이어별 중요도 차이를 고려한 변형 모델을 통해, 기존 SOTA 방법 대비 압도적인 정확도 향상을 달성했습니다.

4. 실험 결과 (Results)

실험 설정: BLIP-2 (blip2-opt-2.7b) 모델을 사용하며, VQA 데이터셋 (샘플링률 10%) 에서 평가 수행.
비교 대상:
- L2-norm Baseline (토큰 크기 기반)
- Self-attention Baseline (SpAtten 알고리즘 기반)
성능 비교 (VQA 정확도):
- 가지치기 비율 1/2 유지 시: CATP 는 41.14% ~ 44.17% 의 정확도를 기록한 반면, L2-norm 은 9.50%, Self-attention 은 44.22% 를 기록했습니다.
- 가장 극단적인 가지치기 (1/8 유지) 시: CATP 는 23.27% ~ 30.17% 의 정확도를 유지했으나, 기존 방법들은 1.92% ~ 8.91% 로 급격히 하락했습니다.
향상 폭:
- L2-norm Baseline 대비 최대 6.6 배
- Self-attention Baseline 대비 최대 12.1 배 높은 정확도를 달성했습니다.
추가 발견: 이미지 토큰 가중치를 적용한 경우 (Keep 1/8 시 29.30%) 와 초기/최종 레이어 정보를 활용한 경우 정확도가 추가로 향상되었습니다.

5. 의의 및 결론 (Significance)

효율성과 정확도의 트레이드오프 해결: 멀티모달 모델의 추론 비용을 획기적으로 줄이면서도 (토큰 수 감소), 기존 방법들이 겪었던 정확도 붕괴 문제를 해결했습니다.
멀티모달 모델 최적화의 새로운 방향: 단일 모달리티 모델용 가지치기 기법이 멀티모달 모델에는 적합하지 않음을 증명하고, 교차 어텐션 메커니즘을 활용한 새로운 접근법의 유효성을 입증했습니다.
실용성: BLIP-2 와 같은 오픈소스 대규모 모델의 배포 및 실시간 적용 가능성을 높여, 시각 - 언어 작업의 효율성을 크게 개선할 수 있는 잠재력을 보여줍니다.

이 논문은 CATP 를 통해 멀티모달 모델의 추론 과정에서 불필요한 토큰을 정밀하게 제거하면서도 모델의 핵심 성능을 유지하는 혁신적인 솔루션을 제시했습니다.