기술 요약: LF²AR – 언어 모델의 멀티모달 적응 개선을 위한 계층적 역학(Layerwise Dynamics)의 고려

문제 정의

텍스트로 사전 학습된 대규모 언어 모델(LLM)은 풍부한 세계 지식을 보유하고 있으나, 이를 지각적 양상(예: 오디오 및 이미지)을 처리하고 생성하도록 적응시키면서 동시에 그 지식을 효과적으로 활용하게 만드는 것은 여전히 어려운 과제이다. 핵심적인 어려움은 표현의 입도(representational granularity) 차이에 있다. 텍스트 토큰은 의미론적으로 밀도가 높은 반면, 지각 신호(픽셀, 오디오 프레임)는 더 세밀하고 낮은 수준이며 공간적 또는 시간적 차원에 걸쳐 희소하게 분포되어 있다.

기존 방식들은 종종 복잡한 다단계 파이프라인이나 모놀리식(monolithic)하게 모달리티를 다루는 "초기 융합(early fusion)" 구조(경량 선형 매핑)에 의존한다. 그러나 이러한 방법들은 불완전한 전이를 초래하는 경우가 많으며, 이로 인해 모델이 비텍스트 입력에서 성능이 저하되거나 텍스트 전용 능력에 대한 파괴적 망각(catastrophic forgetting)을 겪게 된다. 저자들은 이러한 실패가 트랜스포머 언어 모델(LM)에 내재된 **계층적 추상화-정제 역학(layerwise abstraction-refinement dynamics)**을 고려하지 못했기 때문이라고 주장한다.

방법론: LF²AR

본 논문은 텍스트 사전 학습된 트랜스포머의 자연스러운 계산 흐름과 멀티모달 처리를 정렬하도록 설계된 아키텍처인 LF²AR(Late Fusion and Late Fission with Attention Residuals)을 제안한다. 이 접근 방식은 트랜스포머 층이 두 단계의 동역학을 보인다는 관찰에 근거한다:

1. 추상화 단계 (Abstraction Phase): 초기 층들이 저수준 특징들을 결합하여 추상적이고 구성적인 표현을 형성한다.
2. 정제 단계 (Refinement Phase): 후기 층들이 이러한 추상화된 표현을 미세한 구조를 예측할 수 있는 저수준 특징으로 정제한다.

지각적 양상은 텍스트보다 더 세밀하기 때문에, 저자들은 효과적인 적응을 위해 이러한 역학에 부합하는 추가적인 처리 단계가 필요하다고 가설을 세웠다.

1. 후기 융합 (Late Fusion, 입력 측)

지각적 입력의 세밀한 특성을 처리하기 위해, LF²AR은 사전 학습된 백본(backbone) 이전에 **구성 층(composition layers)**을 추가한다. 이 층들은 미세-to-조조(fine-to-coarse) 처리를 수행하여, 가공되지 않은 지각 신호(예: 이미지 패치 또는 음성 토큰)를 텍스트 사전 학습 모델의 초기 층과 정렬되는 추상적 표현으로 변환한다. 이는 백본이 적절한 추상화 수준의 입력을 받도록 보장한다.

2. 후기 분리 (Late Fission, 출력 측)

지각적 출력을 생성하기 위해, LF²AR은 백본 이후에 **정제 층(refinement layers)**을 추가한다. 이 층들은 조조-to-미세(coarse-to-fine) 처리를 수행하여, 백본의 고수준 의미론적 예측을 대상 모달리티에 필요한 구체적이고 낮은 수준의 세부 사항으로 다시 번역한다.

3. 어텐션 잔차 (Attention Residuals)

핵심적인 혁신은 분리 메커니즘 내에서 어텐션 잔차를 사용하는 것이다. 저수준의 세부 사항이 전체 백본을 통해 전파되도록 강제하는 대신(이는 고수준 특징 형성을 방해할 수 있음), 분리 모듈에 모든 백본 층의 잔차 스트림 상태에 대한 동적이고 입력 의존적인 접근 권한을 부여한다.

• 모듈은 각 층의 표현에 대한 요약을 구축한다.
• 선택 네트워크(selector network)가 어텐션 가중치를 생성하여 가중 잔차 요약($\bar{c}_i$)을 형성한다.
• 이를 통해 분리 모듈은 필요에 따라 고수준의 의미 구조(다음 단어를 예측하기 위함) 또는 저수준의 국소적 세부 사항(특정 음소나 픽셀을 예측하기 위함)에 선택적으로 접근할 수 있다.

실험 설정

저자들은 의미론적 대응 관계를 엄격히 제어할 수 있는 두 가지 모달리티에 대해 LF²AR을 평가하였다:

• Text-as-Images: 텍스트가 이진 이미지 패치로 렌더링되는 픽셀 언어 모델링.
• Speech: 벡터 양자화된 자기 지도 학습 음성 표현.

실험은 135M에서 1.7B 파라미터 범위의 SmollLM 백본을 사용하여 수행되었다. 연구에는 다음과 같은 광범위한 절제 실험(ablation)이 포함되었으며, 이를 Base 모델과 비교하였다:

• Base: 초기 융합/분리 모델(표준 경량 적응 방식).
• Ablated Variants: 후기 융합만 있는 모델, 후기 분리만 있는 모델, 또는 정적(비동적) 잔차를 사용하는 모델.

평가에는 계층별 표현 분석(고유 차원, 교차 모달 유사도, BERT 정렬, 퍼플렉시티 프로브)과 다양한 교차 모달 구성(예: Image $\to$ Text, Speech $\to$ Text)에서의 다운스트림 벤치마크(MMLU, HellaSwag, StoryCloze)가 포함되었다.

주요 결과

표현 역학 (Representation Dynamics)

• 추상화 및 정렬: LF²AR은 Base 모델에 비해 일관되게 더 높은 데이터셋 고유 차원과 단어 수준의 교차 모달 유사도를 달로 달성했다. 후기 융합은 텍스트와 유사한 초기 층 특징을 유도하여, 더 나은 의미적 중간 표현을 이끌어내는 것으로 나타났다.
• 텍스트 구조 보존: 후기 분리는 백본의 가장 깊은 층들이 미세한 예측을 위해 과도하게 전문화되는 것을 방지함으로써, 다음 텍xt 토큰을 예측하는 사전 학습된 모델의 능력을 보존했다.
• 의미론적 특성: LF²AR의 이미지 및 음성 표현은 텍스트 표현만큼이나 의미론적이고 예측력이 높았으며, 이는 표준적인 적응 방식에서는 흔히 상실되는 특성이다.

다운스트림 성능

• 교차 모달 이득: LF²AR은 특히 교차 모달 추론 작업(예: 이미지 또는 음성 입력을 바탕으로 텍스트 질문에 답하기)에서 Base 모델을 크게 앞질렀다.
• 확장 효율성: 아키텍처 개선을 통해 LF²AR은 더 큰 규모의 베이스라인 모델을 능가할 수 있었다. 예를 들어, 150M LF²AR 모델은 360M Base 모델과 경쟁하거나 더 강력한 성능을 보였으며, 400M LF²AR은 교차 모달 전이에서 1.7B Base를 지속적으로 능가했다.
• 효율성: 어텐션 잔차는 희소하고 해석 가능한 백본 깊이 사용을 유도했다. 모델은 특정 지점(단어 경계와 상관관계가 있는 지점)에서만 고수준 텍스트 특징을 참조하도록 학습되었다.

조기 종료 디코딩 (Early-Exit Decoding)

어텐션 잔차의 희소성을 활용하여, 저자들은 동적 깊이 할당 메커니즘을 구현했다. 토큰이 깊은 백본 처리를 필요로 하는지 아니면 접두사 전용 근사치(prefix-only approximation)로 처리될 수 있는지를 결정하는 경량 라우터를 학습시킴으로써, 성능 저하를 거의 없이 1.9배의 생성 속도 향상(처리량 증가)을 달성했다.

의의 및 주장

본 논문은 효과적인 멀티모달 적응을 위해서는 백본을 정적인 특징 추출기로 취급하는 것이 아니라, 텍스트 사전 학습 중에 학습된 계층적 조직과 일치시켜야 한다고 주장한다.

• 아키텍처적 통찰: 본 연구는 입력 측에 모달리티 특화 층을 추가하는 것(추상화를 위해)과 출력 측에 추가하는 것(정제를 위해)이 모놀리식한 초기 융합보다 우월함을 입증한다.
• 동적 접근: 어텐션 잔차의 사용은 모델이 거친 의미론적 가이드와 미세한 지각적 세부 사항 사이를 동적으로 전환할 수 있게 하여, 고수준 텍스트 지식을 보존하는 것과 저수준 지각 신호를 생성하는 것 사이의 긴장을 해소한다.
• 효율성: 제안된 아키텍처는 정확도를 개선할 뿐만 아니라 컴퓨팅 효율적인 추론을 가능하게 하며, 이는 멀티모달 능력이 이전에 생각했던 것보다 더 작은 파라미터 규모에서도 발현될 수 있음을 시사한다.

저자들은 이러한 설계 선택들이 구성성(compositionality), 교차 모달 정렬, 그리고 텍스트와 유사한 예측 구조의 보존을 일관되적으로 개선하며, 더 세밀한 모달리티를 적응시키기 위한 원칙적인 경로를 제공한다고 결론짓는다.