🤖 machine learning

MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning

MultiLoReFT는 대규모 쌍 데이터셋을 요구하지 않고도 확장 가능한 멀티모달 학습을 가능하게 하기 위해 사전 학습된 단일 모달 모델에서 공유 정보와 모달리티별 정보를 분리하는 효율적인 저차원 미세 조정 프레임워크입니다.

원저자: Sana Tonekaboni, Viktoria Schuster, Caroline Uhler

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sana Tonekaboni, Viktoria Schuster, Caroline Uhler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 현재 대부분의 로봇은 단 하나의 언어만 구사하는 전문가와 같습니다. 어떤 로봇은 이미지는 보지만 단어는 이해하지 못하고, 또 다른 로봇은 글은 읽을 수 있지만 이미지는 볼 수 없습니다. 이들을 함께 작동하게 만들기 위해, 우리는 보통 이들에게 완전히 새로운 거대한 언어를 처음부터 배우도록 강요하곤 합니다. 하지만 이는 마치 사진 한 장 없는 사전만을 보여주며 갓난아기에게 새로운 언어를 가르치려는 것과 같습니다. 시간이 엄청나게 오래 걸리고, 제대로 배우려면 수백만 개의 예시가 필요합니다.

컴퓨터 과학의 이 분야에서 핵심적인 아이디어는 '멀티모달 학습(multimodal learning)'입니다. 이는 단순히 컴퓨터에게 시각과 청각처럼 여러 가지 감각을 동시에 사용하는 법을 가르치는 것을 뜻하는 멋진 표현입니다. 문제는 실제 세상의 데이터는 매우 무질서하다는 점입니다. 우리는 흔-히 백만 개의 사진과 백만 개의 텍스트 설명을 가지고 있지만, 이것들이 짝 맞추기 놀이를 하듯 완벽하게 짝이 지어져 있지는 않습니다. 게her, 우리가 이 서로 다른 감각들을 섞으려고 강요할 때, 그것들은 종종 뒤엉켜버립니다. 이는 마치 우유와 오렌지 주스를 같은 잔에 붓는 것과 같습니다. 결과물은 만들어지겠지만, 어느 부분이 무엇인지 구분할 수 없게 되며, 만약 조금이라도 흘린다면 전체 맛을 모두 잃게 됩니다. 과학자들은 알고 싶어 합니다. 과연 로봇에게 '우유'(고유한 시각적 세부 사항)와 '오렌지 주스'(고유한 소리의 세부 사항)를 분리하여 유지하면서도, 큰 그림을 이해하기 위해 그들이 섞이도록 하면서, 동시에 완벽한 예시 수백만 개를 필요로 하지 않게 가르칠 수 있을까요?

여기에 디지털 음료를 위한 숙련된 바텐더 역할을 하는 영리한 새로운 방법인 MultiLoReFT가 등장합니다. 이 방식은 로봇을 처음부터 다시 만드는 대신, 이미 똑똑하게 훈련된 두 명의 전문가(이미지 전문가와 텍스트 전문가)를 데려와 아주 작고 효율적인 업그레이드를 제공합니다. 이것은 마치 그들의 뇌에 특별한 '혼합용 빨대'를 추가하는 것과 같습니다. 이 빨대는 두 가지 일을 동시에 수행하도록 설계되었습니다. 첫째, 두 감각가 모두가 동의하는 정보(공통된 이야기)를 뽑아내고, 둘째, 한 가지 감각에만 고유한 부분(특정한 시각적 질감이나 고유한 목소리 톤)을 별도의 깔끔한 칸에 보관하는 것입니다.

논문에 따르면 이 접근 방식은 놀라울 정도로 효과적입니다. '저차원 표현 미세 조정(low-rank representation fine-tuning)' 기술을 사용함으로써, 이 방법은 로봇의 뇌 중 아주 적은 부분만을 미세하게 조정하여 훈련 속도를 높이고 비용을 낮춥니다. 연구진은 정답을 정확히 알고 있는 가상의 데이터와, 사람들이 말하는 영상이나 다양한 언어로 된 캡션이 달린 이미지와 같은 실제 세계의 데이터셋을 대상으로 테스트를 진행했습니다. 그 결과, MultiLoReFT가 정보를 성공적으로 분리해냈음을 발견했습니다. 즉, '공통된' 뇌 부분은 일반적인 의미를 학습했고, '고유한' 부분은 특정한 세부 사항들을 안전하게 지켜냈습니다.

정말 멋진 점은 이 방법이 단순히 정보를 분리하는 데 그치지 않고, 로봇을 더 견고하게 만든다는 것입니다. 만약 당신이 한 가지 감각을 제거한다면—예를 들어 오디오를 음소거한다면—로봇은 여전히 무슨 일이 일어나고 있는지 추측할 수 있습니다. 왜냐하면 뇌의 '공통된' 부분이 사라진 감각의 무게를 대신 짊어지도록 학습했기 때문입니다. 이는 마치 청력을 잃더라도, 뇌가 이미 입 모양을 읽는 법을 너무 잘 배워서 빈틈을 채울 수 있는 것과 같습니다. 논문은 이 방식이 모든 것을 하나로 뭉쳐버리거나, 제대로 고착되지 않는 불완전한 분리를 강요하는 기존의 방법들보다 더 낫다고 제안합니다. 비록 이 결과가 시뮬레이션과 특정 실제 데이터셋에서 매우 유망해 보이지만, 저자들은 이것이 특히 데이터를 얻기 어렵고 결정을 내리는 것만큼이나 '왜' 그런 결정을 내렸는지 이해하는 것이 중요한 의료 분야 등에서 AI를 더 효율적이고 이해 가능하게 만드는 진일보한 단계라고 언급합니다.

기술 요약: MultiLoReFT

1. 문제 정의

멀티모달 학습은 특히 의료와 같이 데이터가 부족한 도메인의 실제 응용 분야에서 두 가지 주요 장애물에 직면해 있습니다:

데이터 희소성: 대규모의 잘 정렬된 쌍(paired) 멀티모달 데이터셋을 수집하는 것은 종종 비현실적이거나 비용이 지나치게 많이 들며, 이로 인해 멀티모달 모델의 엔드 투 엔드(end-to-end) 학습이 어려워집니다.
얽힘(Entanglement): 기존의 멀티모달 표현은 모달리티 간에 공유되는 정보와 특정 모달리티에 고유한 정보를 자주 혼재시킵니다. 이러한 얽힘은 해석 가능성과 제어력을 저해하여, 특정 모달리티가 결정에 어떻게 기여하는지 이해하거나 누락된 모달리티를 강건하게 처리하는 것을 어렵게 만듭니다.

LoRA(Low-Rank Adaptation)나 LoReFT(Low-Rank Representation Fine-Tuning)와 같은 매개변수 효율적 미세 조정 방법은 유니모달 모델을 위한 효율적인 대안을 제공하지만, 멀티모달 환경에서 공유 정보와 고유 정보를 분리(disentangle)하도록 명시적으로 확장되지는 않았습니다.

2. 방법론: MultiLoReFT

저자들은 사전 학습된 유니모달 인코더를 멀티모달 학습에 적응시키기 위해 설계된 저차원 표현 미세 조정 프레임워크인 MultiLoReFT를 제안합니다. 이 방법은 동결된(frozen) 사전 학습된 인코더 상에서 작동하며, 소수의 추가 매개변수만을 필요로 합니다.

핵심 아키텍처

두 개의 사전 학습된 유니모달 인코더( $E_1, E_2$ )가 표현 $h_1, h_2 \in \mathbb{R}^d$ 를 생성한다고 할 때, MultiLoReFT는 정보를 다음과 같이 분리하는 미세 조정된 표현 $\Phi_1, \Phi_2$ 를 학습합니다:

공유 서브스페이스 ( $R_s$ ): 모달리티 간에 공통된 정보를 포착합니다.
모달리티별 서브스페이스 ( $R_{m1}, R_{m2}$ ): 각 모달리티에 특화된 고유 신호를 포착합니다.

프레임워크는 사전 학습된 표현에 직접 구조화된 저차원 개입(low-rank interventions)을 적용합니다. 모달리티 $i$ 에 대한 미세 조정된 표현 $\Phi_i$ 는 다음과 같이 계산됩니다:
$\Phi_i = h_i + R_s^\top(f_{si}(h_i) - R_s h_i) + R_{mi}^\top(f_{mi}(h_i) - R_{mi} h_i)$
여기서 $R_s, R_{mi} \in \mathbb{R}^{r \times d}$ 는 저차원 투영 행렬이며, $f_{si}, f_{mi}$ 는 저차원 서브스페이스에서 학습되는 경량 비선형 변환입니다. $(f(h) - Rh)$ 항은 원래 차원으로 다시 투영되기 전에 저차원 공간에서 적용되는 편집(edit)을 나타냅니다.

학습 목적 함수

지도 학습 기반의 미세 조정과 달리, MultiLoReFT는 표현 공간에 구조적 제약을 부과하는 자기 지도 합성 목적 함수(self-supervised composite objective)를 사용하여 학습됩니다:
$\mathcal{L} = \lambda_1 \mathcal{L}_{indep} + \lambda_2 \mathcal{L}_{orth} + \lambda_3 \mathcal{L}_{MI}$

독립성 손실 ( $\mathcal{L}_{indep}$ ): Hilbert–Schmidt 독립성 기준(HSIC)을 사용하여 공유 성분과 모달리티별 성분 사이(그리고 두 모달리티별 성분 사이)의 통계적 의존성을 최소화합니다. 이는 정보 누출을 방지합니다.
직교성 손실 ( $\mathcal{L}_{orth}$ ): 투영 행렬( $R_s, R_{m1}, R_{m2}$ )의 쌍별 내적에 대한 프로베니우스 노름(Frobenius norm)을 최소화함으로써 서브스페이스 간의 기하학적 불연속성을 강제합니다.
교차 모달 상호 정보량 손실 ( $\mathcal{L}_{MI}$ ): InfoNCE 스타일의 대조 학습 손실을 사용하여 분리된 투영이 원래의 유니모달 임베딩으로부터 충분한 정보를 유지하도록 보장하고, 모달리티 간 공유 성분의 일관성을 강제합니다.

적응형 랭크 프루닝 (Adaptive Rank Pruning)

서브스페이스의 최적 차원을 결정하는 문제를 해결하기 위해, MultiLoReFT는 적응형 프루닝 메커니즘을 채택합니다. 학습 과정 중 투영 행렬의 특이값 분해(SVD)가 계산됩니다. 임계값 $\epsilon$ 보다 작은 특이값을 가진 방향은 제거(pruning)되며, 행렬은 압축된 기저(basis)로 업데이트됩니다. 이 메커니즘은 정보 함량에 따라 랭크를 동적으로 조정하여 중복성을 줄이고 수동적인 랭크 튜닝의 필요성을 없앱니다.

3. 주요 기여

프레임워크 확장: 저차원 표현 미세 조정(LoReFT)을 멀티모달 환경으로 확장하여, 사전 학습된 유니모달 모델의 효율적인 융합을 가능하게 합니다.
분리(Disentanglement): 직교하는 공유 및 모달리티별 서브스페이스를 명시적으로 학습하는 방법을 도입하여, 각 모달리티의 상대적 기여도를 밝힘으로써 해석 가능성을 높였습니다.
적응형 효율성: 동적 랭크 프루닝 메커니즘을 제안하여 효과적인 서브스페이스 차원을 자동으로 선택하며, 성능 저하 없이 압축된 매개변수화를 달성합니다.
강건성: 학습된 공유 서브스페이스가 추론 시점에 한쪽 모달리티가 누락된 상황에서도 성능을 개선함을 입증했습니다.

4. 실험 결과

저자들은 합성 데이터셋(Simulation I & II)과 실제 벤치마크(Flickr30K-Multi, Crema-D, UR-FUNNY)를 통해 MultiLoReFT를 평가했습니다.

정보 분리: 알려진 정답 생성 요인(ground-truth generative factors)이 있는 합성 데이터에서, MultiLoReFT는 각각의 성분만을 사용하여 공유 및 모달리티별 레이블을 예측할 때 가장 높은 정확도를 달s성했습니다. 또한 베이스라인(DRIM-U, APOLLO)에 비해 올바른 성분과 다른 성분 사이의 성능 격차( $\Delta$ )가 현저히 크게 나타났으며, 이는 우수한 분리 능력과 적은 정보 누출을 의미합니다. 실제 데이터셋에서도 언어 정보는 텍스트 특화 서브스페이스에, 시각적 세부 사항은 이미지 특화 서브스페이스에 효과적으로 집중시켰습니다.
다운스트림 성능: 미세 조정된 표현( $\Phi$ )을 결합하여 경량 로지스틱 회귀기에 입력했을 때, MultiLoReFT는 후기 결합(late fusion), 교차 주의 집중(cross-attention) 및 기타 분리 방법들을 포함한 최신 기술(SOTA) 베이스라인들과 대등하거나 이를 능가하는 성능을 일관되적으로 보여주었습니다.
누락된 모달리티에 대한 강건성: 한쪽 모달리티가 누락된 시나리오에서, 미세 조정된 표현( $\Phi$ )은 원래의 사전 학습된 임베딩( $h$ )보다 더 강력한 예측 신호를 제공하였으며, 이는 공유 서브스페이스가 교차 모달 예측 정보를 성공적으로 포착했음을 입증합니다.
매개변수 효율성: 적응형 프루닝 메커니즘은 투영의 유효 랭크를 감소시켰으며, 이는 방법론의 압축된 표현 학습 능력을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 MultiLoReFT가 데이터가 부족한 환경에서 경량화되고, 해석 가능하며, 확장 가능한 멀티모달 학습 접근 방식이라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

유니모달의 강점 활용: 대규모의 쌍 데이터 없이도 강력한 사전 학습된 유니모달 모델을 멀티모달 작업에 활용할 수 있게 합니다.
해석 가능성: 공유 정보와 특정 정보를 분리함으로써, 모델의 결정에 각 모달리티가 어떻게 기여하는지에 대한 통찰을 제공하며, 이는 의료와 같은 고위험 도메인에서 매우 중요합니다.
실용성: 이 방법은 모델에 구애받지 않으며(model-agnostic) 매개변수 효율적이어서, 계산 자원과 데이터 가용성이 제한된 환경에서의 배포에 적합합니다.

저자들은 현재 연구가 이중 모달(bimodal) 데이터에 집중되어 있지만, 프레임워크가 더 많은 모달리티로 확장될 수 있다고 언급했습니다. 다만, 이 경우 부분적으로 공유되는 요인을 해석하는 데 어려움이 따를 수 있음을 인정했습니다. 또한, 방법론의 성능은 궁극적으로 기초가 되는 사전 학습된 유니모달 인코더의 품질에 의해 제한된다는 점도 명시했습니다.