기술 요약: 갭을 더 이상 고려하지 않기: 단일 토크나이저를 통한 제로-갭 멀티모달 통합 달성

문제 제기

멀티모달 대규모 언어 모델 (MLLM) 의 개발은 이질적인 입력 (예: 연속적인 시각 신호 또는 이산적인 생물학적 서열) 을 통합된 추론 엔진으로 효과적으로 통합하는 데 있어 핵심적인 과제를 안고 있습니다. 현재의 패러다임은 주로 모듈형 아키텍처에 의존하는데, 여기서 모달리티별 인코더가 표현을 추출한 후 크로스-모달 프로젝터를 통해 LLM 의 공유 잠재 공간에 매핑됩니다.

저자들은 이 접근법에서 근본적인 병목 현상을 식별했습니다. 바로 모달리티 갭입니다. 모달리티별 인코더가 독립적으로 최적화되기 때문에, 데이터는 잠재 공간 내의 고립된 서브-다양체 (sub-manifolds) 에 임베딩됩니다. 이러한 기하학적 분리는 LLM 이 심층적인 크로스-모달 추론에 참여하기보다는 "기하학적 조정" (불연속적인 공간 정렬) 에 상당한 계산 자원을 소모하도록 강제합니다. 최근의 "플러그 앤 플레이" 접근법은 확장성을 용이하게 했지만, 본질적으로 심층 상호작용을 지연시키고 강제 정렬 이전에 엄격한 표현적 경계를 유지합니다.

방법론: 단일 토크나이저 (One Tokenizer)

모듈형 설계의 기하학적 한계를 해결하기 위해, 이 논문은 통합 어휘를 사용하여 모든 모달리티를 직접 공유 토큰 공간에 매핑하는 네이티브 아키텍처인 **단일 토크나이저 (One Tokenizer)**를 제안합니다.

이론적 프레임워크

저자들은 정규화된 유클리드 거리 (코헨의 d에서 영감을 받음) 를 기반으로 한 통계적 프레임워크를 사용하여 모달리티 갭을 형식화했습니다. 이는 두 모달리티의 기대 표현 (중심) 간의 거리를 모달리티 내 분산으로 정규화한 것으로 정의됩니다.

• Lemma 1 (임베딩 수준 갭): 저자들은 모듈형 아키텍처가 별도의 서브공간에서의 독립적 초기화 때문에 임베딩 레이어에서 본질적으로 엄격히 양수인 초기 갭을 겪음을 증명했습니다. 반면, 통합 어휘를 사용하는 네이티브 아키텍처는 모든 토큰이 단일 기본 분포를 공유하므로 어휘 크기가 증가함에 따라 기대 초기 갭을 0 으로 수렴시킵니다.
• Theorem 1 (레이어별 갭 보존): LLM 레이어의 리프시츠 연속성을 가정할 때, 저자들은 초기 기하학적 상태가 심층 표현 행동을 결정함을 보였습니다. 모듈형 설계의 초기 갭은 순전파 (forward pass) 내내 엄격히 보존되어 지속적인 계산 부담을 부과합니다. 반면, 네이티브 아키텍처의 제로-갭 초기화는 모든 은닉 레이어에 걸쳐 본질적으로 통합된 표현 공간을 보장하여 사후 기하학적 정렬의 필요성을 제거합니다.

실증 테스트베드: DNA-텍스트 모델링

연속 데이터 (예: 이미지) 를 토큰화하는 과정에서 발생하는 혼란스러운 노이즈 없이 이러한 이론적 주장을 검증하기 위해, 저자들은 본질적으로 이산적인 모달리티인 DNA 와 텍스트를 활용했습니다.

• 단일 토크나이저 구현: 이 방법은 사전 훈련된 LLM 의 어휘 ($V_{text}$) 를 이산적인 DNA $k$-mer 어휘 ($V_{DNA}$) 로 확장하여 통합 공간 $V = V_{text} \cup V_{DNA}$를 생성합니다. 두 모달리티 모두 단일 임베딩 레이어를 통해 직접 공유 잠재 공간에 매핑되므로, 모달리티별 인코더나 프로젝션 파라미터가 전혀 필요하지 않습니다.
• 베이스라인: 본 연구는 단일 토크나이저를 다음과 비교합니다:
  1. 모듈형 베이스라인: 게놈 특징을 텍스트와 정렬하기 위해 프로젝션 레이어나 Q-former 를 사용하는 BioReason 과 ChatNT.
  2. SeqCLIP: 생성 전에 명시적으로 의미 정렬을 강제하기 위해 DNA-텍스트 쌍에 대비 학습 (InfoNCE 손실) 을 적용한 개선된 베이스라인.

주요 기여

1. 이론적 보장: 이 논문은 통합 어휘를 가진 네이티브 아키텍처가 모든 레이어에 걸쳐 제로-갭 상태를 달성하고 엄격히 보존하며, 모듈형 설계에 내재된 기하학적 병목 현상을 근본적으로 제거함을 수학적으로 증명합니다.
2. 통제된 평가: 저자들은 연속 데이터와 관련된 토큰화 인공물을 추론 능력에서 분리하기 위해 이산 모달리티 (DNA 및 텍스트) 를 사용하여 노이즈가 없는 테스트베드를 구축했습니다.
3. 실증적 우위: 광범위한 평가를 통해 네이티브 통합이 복잡한 대비 정렬 메커니즘으로 강화된 베이스라인을 포함한 모듈형 베이스라인보다 일관되게 우월함을 입증했습니다.

실험 결과

저자들은 두 가지 벤치마크에서 모델을 평가했습니다: 뉴클레오타이드 트랜스포머 (NT) 벤치마크 (분류) 와 KEGG 유래 생물학적 추론 데이터셋 (복합 추론).

• 모달리티 갭 분석: 레이어 전반에 걸친 잠재 임베딩의 실증적 분석은 이론적 경계를 확인했습니다. 모듈형 아키텍처는 초기 레이어에서 상당한 갭을 보이며 이는 깊은 레이어까지 지속되어 모델이 기하학적 조정에 깊이를 할애하도록 강요합니다. 반면, 단일 토크나이저는 네트워크 전반에 걸쳐 초기 갭이 크게 감소하고 높은 크로스-모달 KNN 비율을 유지하며 매끄러운 통합을 유지합니다.
• 분류 성능:
  • NT 벤치마크(18 개 작업)에서 단일 토크나이저는 평균 매튜스 상관 계수 (MCC) 0.62를 달성하여 모듈형 베이스라인 (BioReason: 0.54, ChatNT: 0.55) 과 대비 학습 SeqCLIP(0.56) 을 능가했습니다.
  • KEGG 벤치마크(37 개 질병 클래스)에서 단일 토크나이저는 **99.31%**의 최첨단 정확도와 95.24의 F1 점수를 달성하여, 정확도와 F1 점수 간 불일치를 보였던 모듈형 베이스라인을 크게 능가했습니다.
• 추론 성능: LLM-as-a-judge 프로토콜을 사용하여 단일 토크나이저는 10.53의 추론 점수를 달성하여 모듈형 베이스라인 (예: 약 8.55 인 SeqCLIP) 에 비해 실제 값 상한 (14.03) 과의 갭을 크게 좁혔습니다. 사례 연구에 따르면 모듈형 모델은 종종 도메인 일관성이 없는 추론이나 피상적인 연관성에 의존하는 반면, 단일 토크나이저는 일관된 단계별 생물학적 연역을 가능하게 했습니다.

의의 및 주장

이 논문은 "모달리티 갭"이 더 나은 정렬 모듈로 해결 가능한 단순한 공학적 과제가 아니라, 모듈형 아키텍처의 근본적인 구조적 한계라고 주장합니다. 통합 어휘 패러다임으로 전환함으로써, 저자들은 MLLM 이 네이티브 잠재 기하학 내에서 "매끄러운 통합"을 달성할 수 있다고 주장합니다.

이 연구의 의의는 이산 시퀀스의 경우 복잡한 정렬 모듈을 구축하는 것보다 네이티브 통합이 더 간단하고 강력한 경로임을 입증하는 데 있습니다. 결과는 공유 토큰 공간의 기하학적 통합이 LLM 이 사전 훈련된 제로-샷 및 논리적 추론 능력을 "외부" 개체로 간주하여 번역이 필요한 것이 아니라 생물학적 서열로 직접 확장할 수 있게 함을 시사합니다. 저자들은 통합 토크나이징 공간이 심층 생물학적 추론을 위한 근본적으로 우수한 프레임워크를 제공한다고 결론지었습니다.

한계점: 저자들은 연속 신호 (시각 등) 에 내재된 토큰화 노이즈를 우회하기 위해 이산 상징적 모달리티를 활용했다고 지적합니다. 중요한 향후 방향은 연속 모달리티의 벡터 양자화 인공물을 처리할 때 이러한 매끄러운 통합이 유지되는지 조사하는 것입니다. 또한, 이론적 경계는 갭의 진화를 특징짓지만, 대규모 규모 사전 훈련 체계 하의 잠재 기하학을 완전히 탐구하지는 못했습니다.