💬 NLP

MultiModal Code-Switching: Interleaving Visual Objects into Language for Explicit Object-Level Alignment

이 논문은 시각적 객체를 텍스트에 교차 삽입하여 명시적인 객체 수준의 감독을 제공함으로써, 기존의 이미지-텍스트 정렬 방식에 비해 데이터 효율성과 시각적 접지(visual grounding) 능력을 크게 향상시키는 새로운 사전 학습 패러다임인 멀티모달 코드 스위칭(MultiModal Code-Switching, MMCS)을 소개한다.

원저자: Changhao Xiang, Shangyu Xing, Zhen Wu, Jianbing Zhang, Xinyu Dai

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Changhao Xiang, Shangyu Xing, Zhen Wu, Jianbing Zhang, Xinyu Dai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 지저분한 책상 사진을 보여주며 이렇게 말합니다. "커피 머그잔, 노트북, 그리고 고양이가 있어." 인공지능의 세계에서 이런 로봇들은 멀티모달 거대 언어 모델(MLLM)이라고 불립니다. 이들은 텍스트를 읽는 동시에 사진도 볼 수 있는 아주 똑똑한 학생들과 같습니다. 학습을 위해, 이들은 보통 쌍을 이루어 공부합니다. 한쪽에서는 사진을 보여주고, 다른 한쪽에서는 그것을 설명하는 긴 문단을 보여줍니다. 로봇은 전체 사진을 바탕으로 단어들을 추측하려고 노력합니다.

하지만 여기에 까다로운 문제가 있습니다. 단 한 장의 사진이라도 그 안에는 수많은 것들이 뒤섞여 있다는 점입니다. 만약 로봇이 고양이, 강아지, 공이 있는 사진을 보고 있는데, 텍스트가 "고양이가 강아지를 쫓아가고 있다"라고 적혀 있다면, 로봇은 흐릿하고 뒤섞인 사진의 어느 부분이 "고양이"에 해당하고 어느 부분이 "강아지"에 해당하는지 파악해야 합니다. 이는 마치 모든 조각이 하나의 커다란 덩어리로 붙어 있는 퍼즐을 맞추려는 것과 같습니다. 로봇은 연결 고리를 추측해야 하는데, 이는 느리고 비효율적이며 종종 혼란을 야기합니다. 이는 마치 친구들의 단체 사진에서 사람들이 서로 겹쳐 서 있는 모습을 보고 누가 누구인지 이름을 맞히려는 것과 같습니다. 아마도 누군지 짐작은 하겠지만, 자주 틀릴 것입니다.

이것이 바로 난징 대학교의 연구진이 새로운 논문에서 다룬 문제입니다. 그들은 이 로봇들을 가르치는 기존 방식—전체 사진을 전체 문장에 통째로 붙이는 방식—이 너무 무질서하다는 것을 깨달았습니다. 그래서 그들은 **멀티모올 코드 스위칭(MultiModal Code-Switching, MMCS)**이라는 새롭고 영리한 기술을 발명했습니다.

MMCS를 "빈칸 채우기" 게임이라고 생각해 보세요. 그런데 여기서 빈칸은 단어가 아니라, 아주 작게 확대된 사진입니다. "고양이가 매트 위에 있다"라고 쓰는 대신, 로봇에게는 "The [고양이 사진] is on the [매트 사진]"과 같은 형태의 문장이 보여집니다.

현실 세계에서 "코드 스위칭(code-switching)"이란 영어나 스페인어처럼 두 가지 언어를 사용하는 사람이 한 문장 안에 두 언어를 섞어 쓰는 것을 말합니다. 예를 들어 "I went to the tienda(상점) to buy milk"라고 말하는 식이죠. 연구진은 이 아이디어를 빌려왔습니다. 그들은 시각적 대상(고양이 사진)을 텍스트와는 다른 "언어" 또는 "코드"로 취급했습니다. 단어인 "cat"을 실제 고양이 이미지로 교체함으로써, 로봇이 그 특정 작은 이미지를 보고 이것이 그 단어의 의미라는 것을 이해하도록 강제한 것입니다. 이제 더 이상 추측할 필요가 없습니다. 연결이 명시적이고 직접적이기 때문입니다.

연구팀은 이러한 특별한 학습 사례들을 만들기 위해 거대한 기계를 구축했습니다. 그들은 수천 장의 이미지를 가져와 상세한 설명을 작성했고, 사진 속에서 특정 물체들(고양이, 책, 또는 램프 등)을 찾아낸 뒤, 그 설명 속의 단어들을 해당 작은 이미지 조각들로 교체했습니다. 그들은 773,000개의 이러한 "혼합 언어" 샘플을 만들어냈습니다.

결과는 놀라울 정도로 효율적이었습니다. 보통 로봇을 잘 가르치려면 수십만 개의 표준적인 사진-텍스트 쌍이 필요합니다. 하지만 이 새로운 "코드 스위칭" 방식을 사용하면, 로봇은 단 50,000개의 샘플만으로도 충분히 잘 학습할 수 있었습니다. 실제로, 이 특별한 샘플 50,000개로 학습된 모델은 표준 샘로 600,000개를 학습한 모델만큼이나, 혹은 그보다 더 뛰어난 성능을 보였습니다. 이는 마치 로봇이 도서관 전체의 교과서를 읽어야 하는 상태에서, 단 몇 장의 플래시카드를 통해 동일한 양의 정보를 배우는 훨씬 더 명확한 상태로 진화한 것과 같습니다.

또한 이 논문은 이 방법이 단순히 로봇이 물체를 인식하는 데 도움을 주는 것을 넘어, 사물이 사진의 정확히 어디에 있는지 파악하고 정밀하게 묘사하는 능력까지 향상시킨다는 것을 보여주었습니다. 연구진이 로봇의 "두뇌"가 어떻게 작동하는지 살펴보았을 때, 로봇의 주의력(attention)이 훨씬 더 날카로워졌음을 발견했습니다. 사진 전체를 막연하게 바라보는 대신, "고양이"라는 단어를 읽을 때 정확히 그 지점에 집중하게 된 것입니다.

요약하자면, 연구진은 문장 속에 사진과 단어를 섞는 방식—단어를 시각적 대응물로 교체하는 방식—을 통해 AI 모델이 세상을 훨씬 더 빠르고 정확하게 이해하도록 가르칠 수 있다는 것을 발견했습니다. 그들은 로봇에게 데이터를 쏟아붓는 것보다, 완벽하게 명확한 데이터를 주는 것이 중요하다는 것을 증명했습니다. 이제 로봇은 사진의 어느 부분이 고양이인지 추측할 필요가 없습니다. 고양이가 문장 속에 바로 나타나 로봇을 응시하고 있기 때문입니다.

기술 요약: 멀티모달 코드 스위칭 (MultiModal Code-Switching, MMCS)

문제 정의

기존의 멀티모달 거대 언어 모델(MLLM)은 주로 이미지-텍스트 쌍에 의존하여 모달리티 정렬 사전 학습을 수행한다. 이 표준 패러다임에서 비전 인코더는 전체 이미지를 하나의 전역 표현(global representation)으로 매핑하고, 이는 다시 조밀한 텍스트 설명과 정렬된다. 저자들은 이러한 **이미지 수준의 정렬(image-level alignment)**이 참조적 모호성(referential ambiguity) 문제를 야기한다고 주장한다. 자연 이미지는 여러 객체와 배경 요소들을 포함하고 있으며(조밀한 캡션 데이터셋의 경우 샘플당 평균 6.8~11.0개의 고유 엔티티 존재), 모델은 단일하게 압축된 전역 표현으로부터 특정 시각적 영역과 텍스트 엔티티 사이의 대응 관계를 암시적으로 추론해야만 한다.

이러한 "다대다(many-to-many)" 매핑은 모델이 진정한 의미론적 그라운딩(semantic grounding)보다는 통계적 공생 관계(statistical co-occurrences)에 의존하게 만든다. 결과적으로, 이러한 암시적 정렬은 데이터 효율성이 매우 낮아 견고한 객체-엔티티 연관성을 학습하기 위해 대규모 데이터셋이 필요하며, 종종 최적화되지 않은 의미론적 그라운딩과 확산된 어텐션 패턴(diffuse attention patterns)을 초래한다.

방법론: 멀티모절 코드 스위칭 (MMCS)

이러한 한계를 해결하기 위해, 저자들은 정렬의 단계를 암시적인 이미지 수준의 연관성에서 **명시적인 객체 수준의 대응(explicit object-level correspondences)**으로 전환하는 새로운 사전 학습 패러다임인 **멀티모달 코드 스위칭(MMCS)**을 제안한다.

핵심 개념

두 언어를 하나의 발화 내에 교차 사용하는 언어적 현상인 '코드 스위칭'에서 영감을 얻은 MMCS는 시각과 언어를 서로 다른 "코드"로 취급한다. MMCS는 전역적인 이미지 컨텍스트에만 의존하는 대신, 텍스트 엔티티(명사구)를 그에 대응하는 시각적 객체 임베딩으로 대체함으로써 **교차된 이미지-텍스트 시퀀스(interleaved image-text sequences)**를 구축한다.

기술적 구현

시퀀스 구축: 텍스트 시퀀스 $X$ 와 텍스트 엔티티 세그먼트 $e$ 가 주어지면, 해당 방법은 $e$ 를 대응하는 객체의 시각적 표현 $v_{object}$ (객체의 바운딩 박스와 교차하는 이미지 토큰 집합으로 정의됨)로 대체한다. 결과적인 시퀀스는 $X_{MMCS} = \text{Concat}(X_{<i}, v_{object}, X_{>i+m})$ 이 된다.
학습 목적 함수: 모델은 다음의 결합 손실 함수를 사용하여 학습된다:
- 언어 모델링 손실 ( $L_{LM}$ ): 텍스트 토큰에 대해서만 손실을 계산하며, 시각적 토큰을 다음 토큰 예측을 위한 조건부 컨텍스트로 취급한다.
- 엔티티 재구성 손실 ( $L_{entity}$ ): 이전 컨텍스트와 시각적 객체 임베딩이 주어졌을 때 원래의 텍스트 엔티티 세그먼트에 대한 음의 로그 가능도(negative log-likelihood)를 최소화한다. 이는 모델이 방금 "본" 시각적 객체의 텍스트 설명을 재구성하도록 강제함으로써 의미론적 앵커 역할을 한다.
- 전체 손실: $L_{MMCS} = L_{LM} + L_{entity}$ .

데이터 합성 파이프라인

MMCS를 구현하기 위해, 저자들은 수동 주석(manual annotation) 없이도 정확한 객체-엔티티 대응 관계를 가진 773K 샘플의 사전 학습 데이터셋을 생성하는 확장 가능한 데이터 합성 파이프라인을 개발하였다. 이 파이프라인은 다음 과정을 포함한다:

캡셔닝(Captioning): Qwen3-VL-32B를 사용하여 상세한 이미지 캡션을 생성한다.
엔티티 추출(Entity Extraction): Qwen2.5-72B를 사용하여 명사구와 속성을 추출한다.
시각적 그라운딩(Visual Grounding): Grounding DINO를 사용하여 바운딩 박스와 신뢰 점수를 통해 엔티티를 국소화한다.
필터링(Filtering): 박스 신뢰도, 공간적 제약(예: 패치보다 작거나 80% 이상 가려진 객체 제외), SAM-2.1을 이용한 마스크 영역 유효성 검증 등의 임계값을 적용한다.

주요 기여

새로운 사전 학습 패러다임: 모델이 전역 표현으로부터 대응 관계를 추론할 필요 없이, 명시적인 객체 수준의 그라운딩을 강제하기 위해 텍스트에 시각적 객체를 교차 삽입하는 MMCS를 도입하였다.
확장 가능한 데이터 합성: 수동 주석에 대한 의존성을 제거하고, 정밀한 객체-엔티티 쌍을 가진 고품질 샘플 773K개를 생성하는 파이프라인을 개발하였다.
포괄적인 평가: 다양한 모델 규모(Qwen2.5-3B, Qwen3-8B, Llama3-8B)와 비전 인코더에 걸친 광범한 실험을 통해, 이 방법의 효과를 입증하고 MLLM의 피처 공간 토폴로지에 대한 기계론적 통찰을 제공하였다.

실험 결과

저자들은 데이터 효율성, 스케일링 법칙(scaling laws), 그리고 세 가지 도메인(시각적 그라운딩, 시각적 인지, 일반 VQA)에 걸친 성능을 평가하는 실험을 수행하였다.

데이터 효율성: MMCS는 탁월한 데이터 효율성을 보여준다. 단 50K개의 MMCS 샘플로 학습된 모델은 600K개의 표준 이미지-텍스트 쌍으로 학습된 모델과 대등하거나 이를 능가하는 성능을 달성한다.
시각적 그라운딩: MMCS는 참조 표현 이해(referring expression comprehension) 작업(RefCOCO/+/g)에서 이미지-캡션 베이스라인 대비 평균 **7.9%**의 향상을 나타낸다.
시각적 인지: 이 방법은 미세한 인지 능력을 개선하며, CVBench에서 평균 4.0%, OCRBench에서 2.8%, V-Star에서 **2.0%**의 이득을 보인다.
일반 VQA: 일반적인 VQA 작업에서도 통계적으로 유의미한 수준의 완만한 성능 향상이 관찰되었는데, 이는 향상된 시각적 인지가 추론을 위한 더 나은 근거를 제공하기 때문인 것으로 분석된다.
비교: MMCS는 패치 정렬 학습(Patch Aligned Training) 및 텍스트 BBox(좌표 토큰 사용)와 같은 미세 정렬 베이스라인보다 우수한 성능을 보였으며, 이는 완전한 의미론적 객체를 정렬하는 것이 패치 수준이나 기호적 좌표 정렬보다 더 효과적임을 확인시켜 준다.
기계론적 분석:
- 표현 정렬(Representation Alignment): CKA, Mutual k-NN, CKNNA 지표들은 MMCS가 표준 사전 학습에 비해 네트워크 레이어 전반에서 더 높은 충실도의 시각-언어 정렬을 달려함을 보여준다.
- 어텐션 맵(Attention Maps): 시각화 결과, MMCS로 학습된 모델은 텍스트 엔티티에 대응하는 특정 시각적 영역에 대해 더 날카롭고 국소화된 어텐션을 보이는 반면, 베이스라인 모델은 확산된 어텐션을 보였다.

의의 및 주장

본 논문은 MMCS가 MLLM의 데이터 효율성과 의미론적 그라운딩을 근본적으로 개선한다고 주장한다. 객체 수준의 정렬을 명시적으로 강제함으로써, 이 방법은 표준 이미지-텍스트 사전 학습에 내재된 참조적 모호성을 해결한다. 저자들은 이 접근 방식이 모델로 하여 much less data(훨씬 적은 데이터)로도 견고한 객체-엔티티 연관성을 학습하게 하여, 더 날카로운 어텐션 분포와 정밀한 시각적 인지를 이끌어낸다고 단언한다.

이 연구의 의의는 **명시적인 객체 수준의 감독(explicit object-level supervision)**이 암시적인 전역 정렬보다 모달리티 정렬에 있어 더 효과적인 전략임을 입증했다는 데 있다. 저자들은 현재 구현이 자연 이미지에 집중되어 있지만, 국소적 시각 특징과 텍스트 엔티티 사이의 명시적 대응 관계를 구축하는 핵심 방법론은 다른 도메인에도 일반화될 수 있다고 언급하였다. 또한 차트 이해, 장면 텍스트 인식, 복잡한 관계 추론 등으로 MMCS를 확장하는 것을 유망한 향후 연구 방향으로 제시하였다.