Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

기술 요약: 제작된 모달리티 합성을 통한 LMM의 다재다능한 시각적 모달리티 일반화

문제 정의
현재의 대규모 멀티모달 모델(LMM)은 RGB 비전에는 강력한 성능을 보이지만, 보지 못한 시각적 모달리티(예: 열화상, 깊이, X-ray)로의 일반화에는 어려움을 겪고 있습니다. 기존 방식은 특정 비-RGB 모달리티를 학습 과정에 포함하기 위해 데이터를 확장하는 데 의존하며, 이로 인해 모델이 학습 분포에 존재하지 않는 모달리티에 대해 실패하는 "일반화 격차(generalization gap)"가 발생합니다. 핵심 과제는 LMM이 불변하는 장면의 의미론(semantics)과 모달리티 특유의 시각적 외형(appearance)을 혼동하여, 물리적 세계에 대한 통합된 이해를 발달시키기보다는 매번 새로운 모달리티에 대한 정렬(alignment)을 학습해야 한다는 점입니다.

방법론: VVM-Tuning
저자들은 LMM에 두 가지 뚜렷한 능력인 **모달리티 무관 인지(Modality-unaware Perception)**와 **모달리티 인지 이해(Modality-aware Understanding)**를 갖추도록 설계된 훈련 프레임워크인 VVM-Tuning을 제안합니다. 이는 **제작된 모달리티 합성(Fabricated Modality Synthesis)**과 모달리티 컨텍스트(Modality Contexts) 파이프라인을 통해 달성됩니다.

1. 모달리티 합성 파이프라인:

   • 이미지 합성: 실제 비-RGB 데이터셋을 필요로 하지 않고 다양한 학습 데이터를 생성하기 위해, 저자들은 표준 RGB 소스로부터 이미지를 제작합니다. 이는 RGB 이미지를 그레이스케일로 변환하고, 히스토그램을 조정하기 위해 무작위 큐빅 스플라인 보간(cubic spline interpolation)을 적용하며, 22개의 과학적 컬러 맵을 사용하여 의사 색상(pseudo-colors)으로 매핑하는 과정을 포함합니다. 추가적인 증강 기법(노이즈, 블러링)은 저해상도 또는 노이즈가 있는 센서의 특성을 시뮬레이션합니다.
   • 모달리티 컨텍스트 제작: 합성된 모달리티의 물리적 의미를 설명하는 텍스트 프롬프트가 생성됩니다(예: "따뜻한 색상은 더 높은 온도를 나타냄"). 세그멘테이션 마스크가 있는 이미지의 경우, 컬러 맵을 객체에 연결하여 컨텍스트를 구성하며, 주석이 없는 이미지의 경우 인간이 작성한 예시를 바탕으로 컨텍스트를 생성하도록 LLM에 프롬프트를 제공합니다.

2. 훈련 프레임워크 (VVM-Tuning):
   이 프레임워크는 두 가지 분리된 태스크를 가진 지도 미세 조정(SFT)을 활용합니다:

   • 모달리티 무관 인지: 시각적 외형과 관계없이 불변하는 의미론과 기본적인 시각적 요소(사진적 인지)를 추출하는 것을 목표로 합니다.
     • 의미론적 태스크(Semantic Tasks): 모델이 원본 RGB 이미지와 제작된 이미지 사이의 공유된 기저 의미론을 추출하도록 훈련됩니다.
     • 사진적 태스크(Photographic Tasks): 모델이 의미론적 설명에는 없지만 제작된 이미지에 존재하는 고유한 시각적 단서(예: 특정 색상 패턴)를 추출합니다.
     • 형식: 이미지 설명과 시각적 질의응답(VQA) 태스크를 모두 포함합니다.
   • 모달리티 인지 이해: 이 태스크는 합성된 시각적 외형을 모달리티 컨텍스트에 정의된 물리적 속성과 연결하는 법을 가르칩니다.
     • 모델은 의미론적 설명, 사진적 설명, 그리고 모달리티 특유의 컨텍스트를 통합하여 모달리티 지식이 필요한 질문에 답하는 법을 배웁니다.
     • 이를 통해 모델의 지시 이행(instruction-following) 및 인컨텍스트 학습(in-context learning) 능력을 활용하여 추론 시 제로샷 적응(zero-shot adaptation)을 가능하게 합니다.

주요 기여

• 새로운 일반화 접근법: 본 논문은 모달리티 내 학습 데이터 없이도 LMM을 보지 못한 시각적 모달리티로 일반화하는 방법을 최초로 탐구하였으며, 모달리티 합성 및 컨텍스트가 이 격차를 메울 수 있음을 입증했습니다.
• 제작된 모달리티 합성: RGB 데이터로부터 다양한 비-RGB 이미지와 그에 상응하는 모달리티 컨텍스트를 생성하는 파이프라인을 구축하여, 일반적인 합성 지시 세트(synthetic instruction set)를 생성할 수 있게 합니다.
• 분리된 훈련 전략: "모달리티 무관 인지"(공유된 의미론 추출)와 "모달리티 인지 이해"(물리적 의미와 외형의 연결)를 구분하는 프레임워크를 통해, 의미론이 특정 RGB 외형에 과도하게 정렬되는 것을 방지합니다.
• VVM-Bench: 6가지 시각적 모달리티(실제 3종: Thermal, Depth, X-ray; 제작 3종: Optical Flow, Synthesized 1, Synthesized 2)와 11가지 VQA 태스크를 특징으로 하는 종합 벤치마크를 제공하여 인지 및 이해 능력을 모두 평가합니다.

실험 결과
프레임워크는 VVM-Bench에서 다섯 가지 베이스 모델(LLaVA-1.5, Qwen2.5-VL, Qwen3-VL)을 대상으로 평가되었습니다.

• 인지 성능 향상: VVM-Tuning으로 훈련된 모델은 테스트된 모든 모달리티에 대해 인지 서브셋(컨텍스트가 없는 태스크)에서 평균 8.2%의 향상을 보였습니다. 가장 큰 성능 향상은 제작된 모달리티(예: LLaVA-1.5의 Synthesized 1에서 +22.2%)에서 관찰되었습니다.
• 이해 성능 향상: 모달리티 컨텍스트를 포함했을 때, 모델은 이해 서브셋에서 평균 3.8%의 향상을 달ert했습니다.
• 일반화: 합성 데이터로 훈련되었음에도 불구하고, 모델은 실제 세계의 모달리티(Thermal, Depth, X-ray, Optical Flow)에서 일관된 개선을 보여주었으며, 이는 시각적 모달리티의 근본 원리가 공유된다는 것을 확인시켜 줍니다.
• 절제 연구(Ablation Studies): 모달리티 무관 인지 태스크와 모달리티 인지 이해 태스크가 모두 필요함을 확인했습니다. 어느 하나라도 제거하면 성능이 크게 저하되었으며, 인지 기반이 적응성을 배우는 데 결정적임을 입증했습니다.

의의 및 주장
저자들은 자신들의 연구가 LMM이 다재다능한 시각적 모달리티에 대해 제로샷 일반화를 달{% achieve}할 수 있는 실행 가능한 경로를 제시한다고 주장합니다. 불변하는 의미론과 모달리티 특유의 외형을 분리하고 텍스트 컨텍스트를 활용하여 격차를 메움으로써, LMM은 해당 모달리티에 대해 명시적으로 훈련되지 않고도 물리적 실체를 인식하고 모달리티 특유의 속성을 이해할 수 있습니다.

본 논문은 현재의 LMM이 '이미지'를 '현실'로 취급하는 경향이 있는 반면, 이 방법은 '이미지'(시각적 외형)와 '실제 세계'(기저의 의미론)를 구분함으로써 더 넓은 일반화를 가능하게 한다고 제언합니다. 저자들은 충분한 인지 능력과 모달리티 컨텍스트가 있다면 LMM이 보지 못한 시각적 모달리티에 적응할 수 있다고 결론지으며, 이를 위한 연구를 촉진하기 위해 VVM-Bench를 제공합니다.