LaMI: Augmenting Large Language Models via Late Multi-Image Fusion

이 논문은 텍스트 기반 대형 언어 모델 (LLM) 에 시각적 정보를 통합하여 시각적 상식 추론 능력을 향상시키면서도 텍스트 추론 성능을 해치지 않고, 단일 이미지나 초기 융합 방식의 한계를 극복하기 위해 제안된 'LaMI'라는 후기 다중 이미지 융합 방법을 소개합니다.

핵심

🎨 라미 (LaMI): "눈이 없는" 거대 AI 에게 상상력을 불어넣는 방법

이 논문은 **"텍스트만 보고 학습한 거대 언어 모델 (LLM)"**이 시각적인 상식 (예: "펭귄 배는 무슨 색일까?") 을 잘 모르는 문제를 해결하기 위해 제안한 새로운 방법, **LaMI(Late Multi-Image Fusion)**에 대한 이야기입니다.

쉽게 비유하자면, **"눈이 보이지 않는 천재 작가에게, 글을 쓸 때 그림을 그려보게 하고 그 그림을 참고하게 만드는 기술"**이라고 생각하시면 됩니다.

---

1. 왜 이런 기술이 필요할까요? (문제 상황)

• 텍스트만 공부한 AI (LLM): 책만 엄청나게 읽은 천재입니다. 언어 실력은 최고지만, "펭귄 배가 흰색인지, 노란색인지" 같은 시각적 상식은 책으로만 추론하다 보니 틀리기 쉽습니다. (실제로 Llama3 는 펭귄 배를 '노란색'이라고 잘못 답했습니다.)
• 텍스트와 그림을 같이 공부한 AI (VLM): 눈과 귀를 모두 쓴 AI 입니다. 시각적 상식은 좋지만, 순수한 언어 추론 능력은 떨어지거나, 새로운 AI 모델을 가르치려면 엄청난 비용과 시간이 듭니다.

핵심 질문: "새로운 AI 모델을 새로 가르치지 않고, 기존 텍스트 AI 에게 시각적 능력을 쉽게 추가할 수 있을까?"

---

2. LaMI 의 해결책: "상상력"과 "늦은 회의"

LaMI 는 두 가지 핵심 아이디어를 사용합니다.

① "여러 개의 그림을 그려보게 하기" (Late Multi-Image Fusion)

기존 방법들은 질문을 받으면 한 장의 그림만 그려서 참고했습니다. 하지만 그림 한 장은 항상 완벽하지 않을 수 있습니다.

• LaMI 의 방식: 질문을 받으면 AI 가 여러 장 (예: 6 장) 의 그림을 동시에 그려냅니다.
  • 비유: "펭귄 배 색이 뭐지?"라고 물으면, AI 는 "흰색일 수도 있고, 회색일 수도 있고..." 하며 여러 가지 버전의 그림을 빠르게 스케치합니다.
  • 이렇게 다양한 그림을 보면, AI 는 "아, 대부분의 그림이 흰색이네!"라고 더 확신을 갖게 됩니다.

② "결정 직전에 그림을 참고하기" (Late Fusion)

기존 방법들은 그림을 AI 의 뇌 (네트워크) 안으로 처음부터 넣었습니다. 이는 AI 가 언어를 배우는 과정을 방해할 수 있습니다.

• LaMI 의 방식: AI 가 글을 거의 다 쓴 **마지막 순간 (결정 직전)**에, 그려진 그림들을 보여주고 "이 그림들을 참고해서 답을 수정해줘"라고 요청합니다.
  • 비유: 작가가 원고를 다 써놓고, 편집자가 "이 그림들을 보니 답이 '흰색'이 맞는 것 같아"라고 조언하면, 작가는 마지막 한 줄만 수정하고 끝냅니다.
  • 이 방식은 AI 의 언어 실력을 해치지 않으면서, 시각적 정보만 필요할 때만 도움을 받습니다.

---

3. 어떻게 작동하나요? (실제 과정)

1. 질문 받기: "펭귄 배 색은?"
2. 그림 생성: AI 가 텍스트만 보고 펭귄의 배 색깔을 상상한 그림을 여러 장 생성합니다. (이때는 AI 가 직접 그림을 그리는 것이 아니라, 텍스트를 보고 그림을 만들어주는 도구를 사용합니다.)
3. 비교 및 통합:
   • AI 는 그림을 보지 않고 텍스트만으로 답을 유추합니다.
   • 동시에 그려진 여러 그림들을 분석합니다.
   • 중요한 점: 만약 그려진 그림들이 서로 다르고 혼란스럽다면, AI 는 그림을 무시하고 텍스트만으로 답합니다. 하지만 그림들이 일관되게 "흰색"을 보여준다면, AI 는 그림의 의견을 받아들여 답을 "흰색"으로 바꿉니다.
4. 최종 답안: 가장 신뢰할 수 있는 답을 출력합니다.

---

4. 왜 이 방법이 특별한가요? (결과)

• 시각적 상식 대폭 향상: 펭귄 배 색, 사자의 갈기 모양 등 시각적 상식 문제에서 기존 AI 보다 훨씬 잘 맞춥니다.
• 언어 실력 유지: 그림을 보지 않는 순수 언어 문제 (예: 문법, 논리) 에서도 실력이 떨어지지 않습니다. 오히려 Llama 3 같은 강력한 모델에서는 언어 능력까지 향상되었습니다.
• 비용 효율: 새로운 AI 모델을 처음부터 훈련시킬 필요 없이, 기존 모델에 작은 장치만 추가하면 됩니다.

5. 한계점 (현실적인 이야기)

• 시간이 조금 더 걸립니다: 그림을 여러 장 그려야 하므로, 답을 내는 데 약간의 시간이 더 소요됩니다. (하지만 AI 의 성능을 높이기 위한 '투자'라고 볼 수 있습니다.)
• 그림이 틀릴 수도 있습니다: AI 가 그린 그림이 사실과 다를 수 있습니다. (예: "다트마르도 검을 든다"는 전설적인 이야기를 AI 가 그렸을 때, 실제로는 말의 털이어야 하는데 쇠사슬로 그린 경우). 하지만 LaMI 는 이런 경우를 감지하고 텍스트 우선으로 답할 수 있도록 설계되었습니다.

📝 요약

LaMI는 "눈이 보이지 않는 AI"에게 "여러 가지 상상의 그림을 그려보게 하고, 마지막에 그 그림들을 참고하게 함으로써" 시각적 상식을 가르치는 똑똑한 방법입니다.

기존의 거대 AI 모델을 망치지 않으면서, "눈"을 달아주는 혁신적인 기술이라고 할 수 있습니다!

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 텍스트 기반 추론에서 뛰어난 성능을 보이지만, 텍스트만으로 학습되었기 때문에 시각적 상식 (Visual Commonsense) 이 결여되어 있습니다. 예를 들어, "펭귄의 배는 어떤 색인가?"와 같은 질문에서 텍스트만으로는 정답을 유추하기 어렵습니다.

기존의 시각 - 언어 모델 (VLM) 은 이미지와 텍스트를 함께 학습하여 시각적 이해 능력을 향상시켰지만, 다음과 같은 두 가지 주요 한계가 있습니다:

1. 성능 저하: 시각적 작업은 잘 수행하지만, 순수 텍스트 기반의 상식 추론 능력은 순수 텍스트 LLM 에 비해 떨어지는 경우가 많습니다.
2. 높은 비용: 새로운 LLM 을 시각 입력에 적응시키기 위해서는 비용이 많이 드는 다중 모달 (Multimodal) 재학습이 필요합니다.

기존의 시각 증강 언어 모델 (VaLM) 들은 사전 학습된 LLM 에 시각 신호를 주입하는 방식을 취하지만, 대부분 조기 융합 (Early Fusion) 방식을 사용하거나 단 하나의 이미지만 활용합니다. 이는 LLM 의 언어 추론 행동을 방해하거나 노이즈를 유발하여 최적의 성능을 내지 못하게 합니다.

2. 방법론 (Methodology)

저자들은 LaMI (Late Multi-Image Fusion) 라는 새로운 프레임워크를 제안합니다. 이 방법은 LLM 의 텍스트 추론 능력을 해치지 않으면서 시각적 지식을 효율적으로 추가합니다.

핵심 구성 요소

1. 후기 융합 아키텍처 (Late Fusion Architecture):

   • 기존 LLM 은 고정 (Frozen) 상태로 유지하며, 시각 정보를 모델의 내부 레이어에 주입하는 것이 아니라 최종 예측 직전에 통합합니다.
   • 구조:
     • 시각 인코더 (Vision Encoder): 이미지를 고정된 임베딩으로 변환합니다.
     • 시각 토크 프로젝터 (VTP): 이미지 특징을 가상의 텍스트 임베딩 (pseudo-text embeddings) 으로 변환합니다.
     • 후기 융합 어텐션 레이어 (LFAL): LLM 이 생성한 텍스트 토큰 임베딩과 변환된 시각 토큰 임베딩을 최종 예측 헤드 (Prediction Head) 직전에 어텐션 메커니즘을 통해 한 번만 결합합니다. 이를 통해 LLM 은 언어에 집중하되, 필요할 때만 시각 정보를 참조할 수 있습니다.

2. 다중 이미지 생성 및 증강 (Multi-Image Generation at Inference):

   • 추론 시에는 실제 이미지 쌍이 존재하지 않으므로, 입력 텍스트 프롬프트를 기반으로 경량화된 텍스트 - 이미지 생성기 (Distilled Text-to-Image Generator) 를 사용하여 $k$개의 다양한 이미지를 병렬로 생성합니다.
   • 각 생성된 이미지는 위 융합 모듈을 통해 처리되어 확률 분포를 생성합니다.
   • 신뢰도 기반 가중치 (Confidence-based Weighting): 생성된 $k$개의 이미지와 텍스트만 있는 경우 (Text-only) 의 예측을 결합합니다. 이때 CLIP 점수 (이미지와 텍스트의 일치도) 를 기반으로 가중치를 부여합니다. 시각 정보가 명확할 때는 시각 경로를 신뢰하고, 불확실하거나 부정적인 경우 (예: "정지 신호에 없는 색은?") 는 텍스트-only 경로를 우선시하여 오류를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 후기 융합 (Late Fusion) 전략: 시각 정보를 모델의 초기 단계가 아닌 최종 단계에서 통합하여, LLM 의 언어 추론 능력을 보존하면서도 시각적 상식을 효과적으로 추가합니다.
2. 다중 이미지 생성 (Multi-Image Generation): 단일 이미지가 아닌 여러 이미지를 생성하여 다양한 시각적 증거를 확보하고, 이를 앙상블하여 더 강건한 예측을 가능하게 합니다.
3. 효율적인 적응: 새로운 LLM 을 다중 모달로 재학습하지 않고도, 테스트 시간 (Test-time) 에 가벼운 생성 및 융합 레이어만 추가하여 시각 능력을 향상시킵니다.

4. 실험 결과 (Results)

LaMI 는 다양한 벤치마크와 모델 크기에서 기존 방법론들을 압도했습니다.

• 객체 상식 (Object Commonsense): 메모리 색상, 색상 용어, 객체 모양, 상대적 크기 등 4 가지 과제에서 기존 VaLM 들 (Vokenization, X-adapter, VaLM 등) 보다 월등히 높은 정확도를 기록했습니다. (예: GPT-2 기반 실험에서 상대적 크기 정확도 85.5% 달성)
• 시각적 상식 및 추론: ImageNetVC, PIQA, BoolQ 등 다양한 벤치마크에서 LLaMA 3, Gemma, Vicuna 등 다양한 크기의 LLM 에 적용 시, 시각적 상식 성능을 크게 향상시켰습니다.
• 텍스트 성능 보존: VLM 들이 종종 겪는 텍스트 기반 과제 성능 저하가 발생하지 않았으며, 오히려 강력한 LLM (LLaMA 3 등) 에 적용 시 텍스트-only 성능까지 함께 향상되는 경우가 있었습니다.
• 생성 vs 검색: 기존 VaLM 들이 사용하는 이미지 검색 (Retrieval) 방식보다, 텍스트에서 직접 이미지를 생성 (Generation) 하는 방식이 더 다양하고 구체적인 정보를 제공하여 성능이 더 뛰어났습니다.
• 비용 효율성: 이미지 생성으로 인한 테스트 시간 오버헤드가 있지만, 성능 향상이 이를 상쇄할 만큼 크며, Best-of-N 샘플링과 같은 추가 연산만으로는 시각적 상식 격차를 해소할 수 없음을 증명했습니다.

5. 의의 및 결론 (Significance)

• 효율적인 시각 증강: 대규모 다중 모달 재학습 없이도 기존 LLM 에 시각적 능력을 빠르게 추가할 수 있는 실용적인 프레임워크를 제시했습니다.
• 강건한 융합: 단일 이미지나 조기 융합의 한계를 극복하기 위해 '다중 이미지'와 '후기 융합'을 결합함으로써, 시각적 정보가 불확실할 때는 텍스트 추론을 우회하지 않고 보완하는 방식을 구현했습니다.
• 미래 지향적 접근: 추론 시간 (Test-time) 에 연산을 늘려 성능을 높이는 'Test-time Scaling'의 한 형태로, 에이전트 (Agent) 프레임워크 내에서 시각적 추론을 수행하는 자연스러운 방향성을 제시합니다.

결론적으로, LaMI 는 텍스트 기반 LLM 이 시각적 상식 부족이라는 치명적인 약점을 보완하면서도 언어 능력을 유지하거나 향상시킬 수 있는 최적의 균형을 찾는 혁신적인 접근법입니다.