Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 에서 불필요한 멀티헤드 어텐션을 식별하여 건너뛰는 '효율적 어텐션 스킵핑 (EAS)' 기법과 정보 전달 어댑터를 제안함으로써, 파라미터 효율성을 유지하면서 추론 속도를 획기적으로 향상시킨다는 것을 보여줍니다.

핵심

🎬 비유: 거대한 도서관과 효율적인 사서

우리가 사용하는 최신 AI 모델 (예: LLaVA) 은 수만 권의 책이 꽉 찬 거대한 도서관과 같습니다. 이 도서관에는 이미지 (사진) 와 텍스트 (글) 를 모두 이해할 수 있는 **수천 명의 전문 사서 (Attention Heads)**들이 있습니다.

하지만 문제는 이 도서관이 너무 무겁고 느리다는 점입니다.

• 문제점: 모든 사서가 매번 모든 책을 다 확인하려고 하니까, 질문 하나에 답하는 데 시간이 너무 오래 걸립니다.
• 기존 방식: 도서관을 더 가볍게 하려고 사서들을 줄이거나 (파라미터 효율화), 책장 구조를 바꾸는 시도가 있었지만, 여전히 '지나가는 길'이 복잡해서 속도가 느려지는 문제가 있었습니다.

💡 이 논문이 제안한 해결책: "EAS (효과적인 주의 생략)"

이 연구팀은 **"사실 모든 사서가 매번 필요하지는 않다"**는 사실을 발견했습니다. 그래서 EAS라는 새로운 시스템을 만들었습니다.

1. 핵심 아이디어: "불필요한 사서는 쉬게 하자"

• 발견: 도서관의 사서들 중에는 특정 질문에는 전혀 도움이 안 되는 '冗余 (중복된)' 사서들이 많았습니다.
• 해결: EAS 는 이 불필요한 사서들을 일시적으로 쉬게 합니다 (Skipping).
• 효과: 불필요한 일을 하는 사서들이 사라지니, 도서관 전체가 훨씬 빨리 일을 처리하게 됩니다.

2. 새로운 도구: "PIA (정보 전달자)"

하지만 사서를 아예 없애면 정보가 끊길까 봐 걱정됩니다. 그래서 연구팀은 PIA라는 아주 작은 **'정보 전달자'**를 도입했습니다.

• 역할: 쉬게 된 사서들의 역할을 대신해서, 필요한 정보만 간결하게 전달합니다.
• 기적 같은 점 (재파라미터화): 이 PIA 는 훈련 때는 작게 작동하다가, 실제 사용 (추론) 때는 도서관의 기존 책장 (FFN) 에 자연스럽게 녹아듭니다.
  • 비유: 마치 임시로 세운 가설 (PIA) 이 훈련이 끝나면 벽돌 하나하나가 기존 벽에 완벽하게 합쳐져서, 벽돌을 추가하지 않은 것처럼 보이게 만드는 것입니다.
  • 결과: 속도는 빠르지만, 추가적인 비용이나 지연 시간은 전혀 없습니다.

---

🚀 실제 성과: 얼마나 빨라졌나요?

연구팀은 이 방법을 여러 AI 모델에 적용해 보았습니다.

• 속도: 기존 모델보다 최대 2 배 이상 빨라졌습니다. (예: 1 초 걸리던 일이 0.5 초로 줄어듦)
• 정확도: 속도가 빨라졌는데도, 정답을 맞추는 능력은 거의 떨어지지 않았습니다. 오히려 어떤 경우에는 더 잘하기도 했습니다.
• 비용: AI 를 학습시키는 데 필요한 메모리와 계산량도 크게 줄였습니다.

📝 한 줄 요약

"거대한 AI 도서관에서, 매번 모든 사서가 일할 필요는 없습니다. 불필요한 사서를 쉬게 하고, 대신 작은 정보 전달자 (PIA) 가 정보를 이어주면, 도서관은 더 빨라지고 가벼워집니다."

이 기술은 앞으로 우리가 스마트폰이나 개인용 컴퓨터에서도 무겁고 느린 AI 가 아니라, 가볍고 빠른 AI를 사용할 수 있게 해줄 것으로 기대됩니다.

기술 요약

논문 개요

이 논문은 멀티모달 대형 언어 모델 (MLLMs) 의 하류 작업 (downstream tasks) 적응 과정에서 발생하는 과도한 파라미터 및 계산 오버헤드를 해결하기 위해 제안된 새로운 튜닝 방법인 **Effective Attention Skipping (EAS)**을 소개합니다. 저자들은 MLLM 의 다중 헤드 어텐션 (MHA) 모듈 중 상당 부분이 특정 작업에 불필요한 중복성 (redundancy) 을 가지고 있음을 발견하고, 이를 효율적으로 스킵 (skip) 하되 성능 저하 없이 추론 속도를 획기적으로 높이는 방법을 제시합니다.

1. 문제 정의 (Problem)

• 높은 계산 비용: MLLM 은 텍스트와 이미지를 처리하기 위해 방대한 계산 자원을 소모하며, 특히 하류 작업에 대한 미세 조정 (fine-tuning) 시 파라미터와 계산량이 과도하게 증가합니다.
• 기존 PETL/PCETL 의 한계:
  • 파라미터 효율적 학습 (PETL): Adapter 나 LoRA 와 같은 방법은 파라미터 수는 줄이지만, 추가적인 모듈 삽입으로 인해 추론 지연 (latency) 이 발생하여 실제 속도 향상에는 한계가 있습니다.
  • 계산 효율적 학습 (PCETL): 기존 연구 (예: DAS) 는 전체 Transformer 레이어를 단위로 중복성을 평가하여 스킵하지만, 이는 세밀한 조정이 어렵고 Adapter 를 통한 연결로 인해 여전히 지연이 발생합니다.
  • MHA 와 FFN 의 역할 차이: MHA 는 의존성 모델링에, FFN 은 모델 용량 향상에 주로 기여합니다. 기존 연구는 이 두 구성 요소를 구분하지 않고 레이어 단위로 처리하여 최적의 효율을 내지 못했습니다.

2. 방법론 (Methodology)

논문은 **Effective Attention Skipping (EAS)**이라는 프레임워크를 제안하며, 다음과 같은 핵심 요소로 구성됩니다.

가. MHA 중복성 평가 및 스킵 (Attention Redundancy Evaluation)

• 세밀한 평가: 전체 레이어가 아닌 다중 헤드 어텐션 (MHA) 모듈 단위로 중복성을 평가합니다.
• k-armed bandit 알고리즘: 강화 학습 기반의 k-armed bandit 알고리즘을 사용하여 하류 작업에 가장 덜 중요한 MHA 모듈들을 자동으로 식별하고 스킵합니다.
• 관찰: 실험 결과, FFN 을 스킵하면 성능이 급격히 떨어지지만, MHA 를 스킵하더라도 성능에는 큰 영향을 미치지 않음이 확인되었습니다.

나. 정보 전파 어댑터 (Propagation-of-Information Adapter, PIA)

• 목적: 스킵된 MHA 를 대체하여 정보 교환을 수행하면서도 추론 시 추가 지연을 발생시키지 않는 모듈입니다.
• 구조:
  • 다운샘플링: 입력 특징을 두 개의 저차원 공간으로 투영하고, 평균 풀링 (average pooling) 을 통해 전역 특징을 추출하여 결합합니다. 이를 통해 토큰 간의 정보 교환을 모방합니다.
  • 업샘플링: 라우터 (router) 를 사용하여 두 경로의 가중치를 동적으로 결정하고 출력을 생성합니다.
• 재파라미터화 (Re-parameterization): 훈련 후 PIA 의 가중치를 기존 모델의 Feed-Forward Network (FFN) 레이어로 병합 (merge) 합니다.
  • 이 과정을 통해 PIA 는 추론 단계에서 완전히 제거되어 **제로 추가 지연 (zero extra latency)**을 달성합니다.

3. 주요 기여 (Key Contributions)

1. EAS 제안: MLLM 의 MHA 모듈을 세밀하게 평가하여 스킵하는 새로운 파라미터 및 계산 효율적 튜닝 방법론을 제안했습니다.
2. PIA 개발: 스킵된 어텐션의 역할을 수행하면서도 추론 시 FFN 으로 재파라미터화되어 지연을 제거하는 새로운 어댑터 구조를 설계했습니다.
3. 광범위한 실험 검증: LLaVA, LaVIN, METER 등 다양한 MLLM 과 6 개의 벤치마크 (ScienceQA, Slake, AID, VQA2.0 등) 에서 EAS 의 우수성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 유지 및 향상:
  • ScienceQA: LLaVA-EAS 는 96.2% 의 정확도를 유지하면서 추론 속도를 약 20% 향상시켰습니다.
  • LaVIN: EAS 를 적용한 LaVIN 은 기본 모델 대비 2.18 배의 추론 속도 향상을 달성하면서도 성능 저하가 없었습니다.
  • METER: VQA, NLVR2 등 다양한 작업에서 기존 PETL/PCETL 방법 (DAS, Adapter 등) 대비 더 높은 효율과 성능을 보였습니다.
• 계산 효율성:
  • 업데이트되는 파라미터 양은 전체의 0.1% 미만으로 매우 적습니다.
  • FLOPs(연산량) 를 크게 줄였으며, 특히 MHA 를 스킵할 때 FFN 스킵보다 성능 저하 없이 더 큰 속도 향상을 얻었습니다.
• 정성적 분석: 생성된 설명 (explanation) 이 기존 미세 조정 (Full Tuning) 모델보다 더 논리적이고 상세한 경우가 많았습니다.

5. 의의 및 결론 (Significance)

• 실질적인 가속화: 기존 방법들이 겪던 'Adapter 로 인한 지연' 문제를 해결하여, **실제 추론 속도 (inference speed)**를 획기적으로 개선했습니다.
• MLLM 구조에 대한 통찰: "모든 어텐션이 필요한 것은 아니다 (Not All Attention is Needed)"라는 통찰을 제공하며, MLLM 의 MHA 모듈에 상당한 중복성이 존재함을 증명했습니다.
• 실용성: 대규모 MLLM 을 제한된 컴퓨팅 자원 환경에서도 효율적으로 하류 작업에 적용할 수 있는 길을 열어주었으며, 코드와 모델은 공개되어 재현성을 보장합니다.

이 논문은 멀티모달 모델의 효율성 문제를 해결하기 위해 구조적 스킵 (structural skipping) 과 재파라미터화 기법을 결합한 혁신적인 접근법을 제시했다는 점에서 의의가 큽니다.