Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 이 모달리티 간에 학습된 기술을 조합하는 데 있어 상당한 격차가 존재하며, 프롬프팅이나 미세 조정과 같은 기존 전략으로도 이를 완전히 해결하지 못함을 규명했습니다.

핵심

🎨 제목: "AI 는 여러 재능을 합치는 데 왜 서툴까?"

1. 연구의 배경: AI 는 천재일까, 바보일까?

최근 AI 는 그림을 보고 설명을 쓰거나, 복잡한 수학을 푸는 등 엄청난 능력을 보여줍니다. 연구자들은 "AI 가 배운 여러 기술을 (예: 글씨 읽기, 수학 계산, 사물 찾기) 서로 연결해서 새로운 문제를 해결할 수 있을까?"라고 궁금해했습니다.

마치 요리사를 상상해 보세요.

• 기술 A: 채소를 썰 수 있다.
• 기술 B: 소스를 만들 수 있다.
• 질문: 이 요리사가 채소를 썰고 소스를 만들어서 '샐러드'를 만들 수 있을까?

사람이라면 당연히 "물론이지!"라고 답하겠죠. 하지만 이 논문은 AI 는 이 연결고리를 만드는 데 매우 서툴다는 놀라운 사실을 발견했습니다.

2. 실험: AI 의 '연결 능력'을 테스트하다

연구진은 AI 에게 세 가지 간단한 미션을 주었습니다. 인간에게는 너무 쉬워서 '어? 이거 뭐야?' 싶을 정도였죠.

1. 그림 속 수학 문제 풀기: (이미지 속 글씨를 읽는 능력 + 수학 계산 능력)
   • 비유: 칠판에 적힌 수학 문제를 보고 답을 구하는 것.
2. 사물 세기: (그림에서 사물 찾기 능력 + 숫자 세기 능력)
   • 비유: 사진 속 '오렌지'가 몇 개 있는지 세는 것.
3. 카드 게임: (카드 모양 구분 능력 + 규칙에 따른 점수 계산 능력)
   • 비유: 카드의 무늬와 숫자를 보고 점수를 합산하는 것.

3. 충격적인 결과: "직접 하라" vs "단계별로 하라"

연구진은 두 가지 방식으로 AI 를 테스트했습니다.

• 방법 1 (직접 해결): "이 그림 보고 답을 줘!"라고 한 번에 요청.
• 방법 2 (단계별 강제): "먼저 그림 속 글씨를 읽어줘" → "그 다음에 그 글씨로 수학 문제를 풀어줘"라고 두 번에 걸쳐 명령.

결과:
대부분의 AI 는 **방법 2(단계별)**에서 훨씬 잘 풀었습니다. 하지만 **방법 1(한 번에)**에서는 엉뚱한 답을 내놓거나 실패했습니다.

💡 핵심 비유:
마치 레고 조립을 시켰을 때, "이 레고로 자동차 만들어!"라고 하면 (방법 1) AI 는 레고 조각을 잘 못 보고 엉뚱한 모양을 만듭니다. 하지만 "일단 바퀴를 찾아줘" → "그다음 차체를 만들어줘"라고 (방법 2) 단계별로 지시하면 잘 만듭니다.

결론: AI 는 각 기술 (레고 조각) 은 잘 다룰 줄 알지만, 그것들을 자연스럽게 연결 (조립) 하는 능력은 아직 부족합니다. 이를 논문에서는 **'스킬 조합 간극 (Skill Composition Gap)'**이라고 부릅니다.

4. 왜 이런 일이 일어날까?

AI 는 훈련 과정에서 '그림 읽기'와 '수학 풀기'를 따로따로 배웠을 뿐, 이 둘을 동시에 쓰면서 문제를 해결하는 법을 충분히 연습하지 않았기 때문입니다. 마치 피아노 치는 법과 노래 부르는 법을 따로 배운 가수가, 둘을 합쳐서 '피아노 반주에 맞춰 노래'를 부르는 건 처음이라 어색한 것과 비슷합니다.

5. 해결책은 있을까? (시도해 본 것들)

연구진은 이 간극을 좁히기 위해 두 가지 방법을 시도했습니다.

1. 생각의 사슬 (Chain-of-Thought) 지시:
   • "먼저 그림을 보고 글자를 읽어, 그다음 그 글자로 계산해"라고 AI 에게 생각하는 순서를 자세히 알려주는 것입니다.
   • 결과: 조금 나아졌지만, 여전히 완벽하지는 않았습니다. AI 가 지시를 따르는 데는 도움이 되지만, 근본적인 연결 능력이 부족합니다.
2. 특별한 훈련 (Fine-tuning):
   • AI 에게 "그림을 보고 바로 답을 내는 문제"를 집중적으로 훈련시킨 것.
   • 결과: 특정 문제에서는 잘 풀게 되었지만, 다른 문제로 넘어가면 다시 실패했습니다.

6. 결론 및 시사점

이 논문은 **"AI 가 아무리 똑똑해져도, 서로 다른 능력을 자연스럽게 연결하는 데는 아직 한계가 있다"**는 것을 증명했습니다.

• 현재 상태: AI 는 각 분야 (시각, 언어) 의 전문가일 수는 있지만, 그들을 팀워크로 묶어 새로운 문제를 해결하는 '팀 리더' 역할은 아직 서툴다.
• 미래: 앞으로의 연구는 AI 가 단순히 지식을 쌓는 것을 넘어, 배운 것들을 유연하게 조합 (Composition) 할 수 있도록 만드는 방법을 찾아야 합니다.

한 줄 요약:

"AI 는 그림도 보고 글도 읽지만, 둘을 합쳐서 문제를 해결할 때는 여전히 **'연결 고리'**가 약해서 자주 넘어집니다. 우리는 AI 가 더 자연스럽게 여러 재능을 섞어 쓸 수 있도록 도와줘야 합니다."

기술 요약

논문 요약: Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

이 논문은 멀티모달 대형 언어 모델 (MLLM) 이 학습한 시각적 (Visual) 과 텍스트적 (Textual) 기술을 새로운 작업에서 얼마나 효과적으로 조합 (Composition) 하는지 분석한 연구입니다. 저자들은 MLLM 이 인간처럼 간단한 작업에서도 시각과 텍스트 기술을 자연스럽게 결합하지 못하며, 이로 인해 '크로스-모달리티 기술 조합 격차 (Cross-modality Skill Composition Gap)'가 발생함을 발견했습니다.

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 MLLM 은 복잡한 작업을 수행할 수 있게 되었지만, 내부적으로 다양한 모달리티 (이미지, 텍스트) 의 기술을 어떻게 결합하여 새로운 문제를 해결하는지에 대한 메커니즘은 명확하지 않습니다.
• 문제: MLLM 이 훈련 과정에서 습득한 개별 기술 (예: OCR, 객체 감지, 논리적 추론) 을 새로운 작업에 적용할 때, 이 기술들을 최적의 방식으로 조합할 수 있는가?
• 가설: 인간에게는 직관적인 작업 (예: 이미지 속 텍스트를 읽고 수학 문제 풀기) 이라도 MLLM 은 시각적 인식과 텍스트 추론을 분리하여 처리하는 데 어려움을 겪을 수 있으며, 이로 인해 성능 저하가 발생할 수 있다.

2. 방법론 (Methodology)

2.1. 평가 과제 설계 (Evaluation Tasks)

저자들은 인간에게는 trivial(매우 단순) 하지만 MLLM 에게는 두 가지 모달리티 기술의 조합이 필요한 세 가지 작업을 설계했습니다.

1. Task 1 (렌더링된 텍스트 추론): 이미지로 변환된 텍스트 (수학 문제, 상식 퀴즈 등) 를 OCR(시각 기술) 로 인식한 후, 텍스트 추론 (언어 기술) 을 통해 문제를 해결합니다.
2. Task 2 (객체 카운팅): 이미지 내 특정 객체의 수를 세는 작업입니다. 이는 객체 감지/지정 (시각 기술) 과 텍스트 내 문자열 카운팅 (언어 기술) 의 조합이 필요합니다.
3. Task 3 (카드 게임): 이미지 속 카드의 숫자, 무늬, 색상을 인식 (시각 기술) 하고, 이를 바탕으로 특정 규칙에 따라 순서를 정하거나 점수를 합산 (수치 추론, 언어 기술) 하는 작업입니다.

2.2. 평가 설정 (Inference Setups)

모델의 기술 조합 능력을 측정하기 위해 두 가지 추론 방식을 비교했습니다.

• 직접 추론 (Direct Inference): 모델에 이미지와 질문을 한 번에 입력하여 자연스럽게 해결하도록 유도합니다. (모델의 자연스러운 기술 조합 능력 측정)
• 연쇄 추론 (Cascaded Inference): 작업을 강제로 두 단계로 나눕니다.
  1. 첫 번째 호출: 이미지에서 필요한 시각적 정보 (예: 텍스트 추출, 객체 위치) 를 추출합니다.
  2. 두 번째 호출: 추출된 정보를 텍스트 입력으로 받아 추론을 수행합니다.
  • 이 방식은 모델이 개별 기술을 완벽하게 수행할 수 있다면 최상의 성능을 낼 수 있는 '상한선 (Upper Bound)'을 제공합니다.
• 격차 측정: 기술 조합 격차 (Skill Composition Gap) = Cascaded Inference 성능 - Direct Inference 성능
  • 격차가 크다는 것은 모델이 직접 추론 시 자신의 기술을 효율적으로 조합하지 못한다는 것을 의미합니다.

2.3. 실험 대상 모델

LLaVA, Llama 3.2, Molmo, Qwen2.5-VL 등 오픈 소스 MLLM 여러 모델을 평가했습니다. (훈련 데이터와 기술 습득 과정을 파악하기 위해 폐쇄형 모델은 제외)

3. 주요 결과 (Key Results)

3.1. 광범위한 기술 조합 격차 존재

• 평가된 거의 모든 MLLM 에서 직접 추론보다 연쇄 추론의 성능이 유의미하게 높았습니다.
• 이는 모델이 시각적 입력을 텍스트적 추론과 결합하는 과정에서 발생하는 오류나 비효율성을 시사합니다.
• 예시:
  • Task 1 (OCR + 추론): LLaVA 1.6-Vicuna-13B 는 약 22 점 이상의 격차를 보였으며, Qwen2.5-VL-72B 는 격차가 매우 작았으나 여전히 존재했습니다.
  • Task 2 (객체 카운팅): Qwen2.5-VL 모델은 명확한 격차를 보인 반면, Molmo 모델은 개별 기술 (객체 감지, 카운팅) 자체의 성능이 낮아 격차 분석이 어려웠습니다.
  • Task 3 (카드 게임): 모든 모델에서 격차가 관찰되었으며, 특히 복잡한 규칙 적용 시 직접 추론의 성능이 크게 떨어졌습니다.

3.2. 완화 전략 (Mitigation Strategies)

격차를 줄이기 위해 두 가지 전략을 시도했으나 완전한 해결은 되지 않았습니다.

1. Chain-of-Thought (CoT) 프롬프팅: 모델에게 "먼저 텍스트를 추출한 후, 그 내용을 바탕으로 추론하라"는 명시적인 지시를 포함했습니다.
   • 결과: 직접 추론 대비 성능이 향상되었으나, 여전히 연쇄 추론 (Cascaded) 에는 미치지 못했습니다. 또한 작업별 맞춤형 프롬프트가 필요하여 확장성 (Scalability) 이 낮았습니다.
2. 기술 조합 특화 파인튜닝 (Fine-tuning): 시각 입력과 텍스트 추론이 결합된 데이터로 모델을 추가 학습시켰습니다.
   • 결과: 학습된 데이터셋에서는 직접 추론 성능이 크게 향상되어 격차가 줄어들거나 사라지기도 했습니다. 그러나 다른 작업으로의 일반화 (Generalization) 는 제한적이었으며, 여전히 연쇄 추론의 성능을 완전히 따라잡지는 못했습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크 제시: MLLM 의 크로스-모달리티 기술 조합 능력을 정량화하기 위해 세 가지 구체적인 작업 (OCR+추론, 객체 감지+카운팅, 카드 인식+규칙 적용) 과 직접/연쇄 추론 비교 방식을 제안했습니다.
2. 기술 조합 격차 발견: 기존에 잘 알려지지 않았던 MLLM 의 근본적인 약점, 즉 "단순한 작업에서도 시각과 텍스트 기술을 최적화하여 결합하지 못함"을 체계적으로 증명했습니다.
3. 완화 전략의 한계 규명: CoT 프롬프팅과 파인튜닝이 부분적인 개선을 가져오지만, 근본적인 기술 조합의 비효율성을 완전히 해결하지는 못함을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구적 의의: MLLM 이 단순히 멀티모달 데이터를 학습했다고 해서 자동으로 기술이 통합되는 것이 아님을 시사합니다. 모델이 개별 모달리티의 능력을 습득하더라도, 이를 새로운 맥락에서 유연하게 조합하는 능력은 별도의 학습이나 구조적 개선이 필요할 수 있습니다.
• 실용적 시사점: MLLM 을 실제 복잡한 애플리케이션에 적용할 때, 단순히 모델의 성능을 믿기보다는 기술 조합의 실패 가능성을 고려해야 하며, 이를 해결하기 위한 새로운 훈련 전략 (예: 명시적인 기술 조합 학습, 아키텍처 개선) 이 필요함을 강조합니다.
• 결론: 현재 MLLM 은 인간처럼 직관적인 다중 모달리티 작업에서도 기술 조합에 실패하는 경우가 많습니다. 이는 모델의 내부 표현 (Representation) 이나 훈련 과정에 대한 추가적인 연구가 필요함을 의미합니다.