기술 요약: CoMET - 미세 조정 없이 수행하는 모듈식 멀티모달 분류

문제 제기

멀티모달 분류 작업은 일반적으로 특정 데이터셋에 대한 대규모 기반 모델의 미세 조정을 포함하는 복잡한 엔드투엔드 훈련 파이프라인을 필요로 합니다. 이 접근 방식은 계산 비용이 많이 들고 시간이 소요되며, 종종 데이터셋별 하이퍼파라미터 조정이 필요합니다. 최근 Tabular Foundation Models(TFMs) 은 미세 조정 없이 컨텍스트 학습을 통해 강력한 예측 작업을 수행할 수 있음을 입증했으나, 그 적용은 주로 표 형식 데이터로 제한되거나 멀티모달 환경에 적용될 때 미세 조정이 필요했습니다. 이 논문이 다루는 핵심 과제는 표준 모달리티 인코더(종종 CLS 와 같은 고정 크기 토큰을 출력함) 와 TFM 의 입력 요구 사항 사이의 불일치를 극복하면서, 태스크별 훈련이나 역전파 없이 "아웃오브더박스" 특성을 가진 TFMs 를 멀티모달 분류 (텍스트, 이미지, 표 형식 데이터 결합) 에 활용하는 방법입니다.

방법론: CoMET

저자들은 CoMET(Tabular 기반 모델로 모달리티 인코더 구성) 를 제안합니다. 이는 고정된 사전 훈련된 백본을 TFM 과 구성하는 모듈식 파이프라인입니다. 이 방법은 네 가지 명확한 단계로 작동합니다:

1. 특징 추출: 각 비표 형식 모달리티 (예: 이미지, 텍스트) 는 고정된 사전 훈련된 백본 (예: 이미지의 경우 DINOv3, 텍스트의 경우 ELECTRA) 을 통과하여 샘플별 토큰 수준 임베딩을 추출합니다.
2. 풀링: 토큰 임베딩은 고정 크기 벡터 표현으로 집계됩니다. 논문은 표준 CLS 토큰이나 평균 풀링에 대한 경량 적응형 대안으로 PALPooling(Pseudo Attention Label Pooling) 을 소개합니다.
   • PALPooling 메커니즘: 역전파 대신, PALPooling 은 릿지 회귀를 통해 선형 점수 벡터를 적합시킵니다. 이는 TFM 의 자체 예측 라벨 분포에서 유도된 "가짜 주의 라벨 (Pseudo Attention Labels, PALs)"을 사용합니다. 구체적으로 훈련 데이터를 지원 세트와 쿼리 세트로 분할합니다. TFM 이 쿼리 세트에 대해 예측을 수행하고, 예측과 사전 라벨 빈도 간의 제이슨-섀넌 발산 (Jensen-Shannon Divergence) 에 기반한 점수 함수가 릿지 회귀 모델의 타겟을 생성합니다. 이 모델은 TFM 을 통한 경사 하강 없이 토큰에 가중치를 부여하여 사전 분포에서의 변화를 극대화하도록 학습하며, 이는 정보성 토큰을 식별하는 효과를 냅니다.
3. 차원 축소 (PCA): 풀링된 임베딩은 주성분 분석 (PCA) 을 사용하여 압축됩니다. 저자들은 PCA 가 단순한 압축 도구가 아니라, 고정된 인코더의 임베딩 기하학을 TFM 의 사전 훈련 사전 (이는 합성적이고 고랭크임) 과 정렬시키는 중요한 어댑터임을 입증합니다.
4. 예측: 압축되고 연결된 멀티모달 특징 (표 형식 + 투사된 비표 형식) 은 레이블이 지정된 예제의 지원 세트와 함께 TFM(구체적으로 TabICLv2) 에 입력됩니다. TFM 은 컨텍스트 학습을 수행하여 쿼리 샘플에 대한 라벨 분포를 예측합니다.

주요 기여

1. 충분한 어댑터로서의 PCA: 논문은 고정된 백본의 임베딩에 PCA 를 적용하는 것이 TFMs 를 경쟁력 있는 멀티모달 분류기로 만드는 데 충분함을 입증합니다. 이 투사는 임베딩의 유효 랭크를 증가시키고, TFM 의 합성 사전 훈련 분포와 정렬하며, 표 형식 및 비표 형식 특징 간의 신호를 균형 있게 조정함으로써 성능을 크게 향상시킵니다.
2. CoMET 프레임워크: 미세 조정 없이 다양한 멀티모달 벤치마크에서 최첨단 (SOTA) 결과를 달성하는 구현이 쉬운 모듈식 프레임워크입니다. 구성 요소 (인코더, TFM) 는 독립적으로 교체할 수 있습니다.
3. PALPooling: 모델의 자체 출력에서 유도된 가짜 라벨을 사용하여 TFM 을 통한 역전파 필요성을 제거하는 새로운 훈련 없는 적응형 풀링 방법입니다. 이는 CLS 토큰과 평균 풀링보다 일관되게 우수한 성능을 보이며, 특히 CLS 토큰이 작업 관련 특징을 포착하지 못하는 시나리오 (예: 여러 객체가 있는 이미지) 에서 두드러집니다.
4. 확장 가능한 계층적 분류: 저자들은 계층적 분류 (H-CoMET) 에 대한 CoMET 의 적용을 보여줍니다. 큰 분류 문제 (예: 50 만 개 이상의 샘플, 2,000 개 이상의 클래스) 를 트리 구조 내의 더 작은 하위 작업으로 분해함으로써, 각 하위 작업에 별도의 모델을 훈련하지 않고도 빠르고 확장 가능한 추론을 가능하게 합니다.

결과

논문은 단일 모달 및 멀티모달 벤치마크 전반에 걸쳐 CoMET 를 평가합니다:

• 단일 모달 성능: 이미지 및 텍스트 데이터셋에서 CoMET 는 PCA 와 PALPooling 을 사용하여 선형 프로빙 및 다층 퍼셉트론 (MLP) 의 성능과 일치하거나 초과하며, 종종 이를 크게 능가합니다 (예: ImageNet 하위 집합에서 +3.4% 에서 +6.2% 향상).
• 멀티모달 벤치마크: CoMET 는 텍스트, 이미지, 표 형식 데이터를 결합한 데이터셋 (예: Jigsaw Toxicity, PetFinder, MM-IMDb, Airbnb) 에서 경쟁력 있거나 최첨단 결과를 달성합니다. 이는 모달리티별 프로젝터로 미세 조정이 필요했던 이전 멀티모달 TFM 접근 방식인 MMPFN 보다 우수합니다.
• 계층적 확장: iNaturalist(2,896 개 클래스) 및 Amazon MM 과 같은 대규모 계층적 데이터셋에서 H-CoMET 는 6 분 미만의 추론 시간으로 높은 정확도 (iNaturalist 에서 82.50%) 를 달성하며, 평면 분류기보다 크게 우수하고 최첨단 계층적 텍스트 모델과 맞먹거나 능가합니다.
• 효율성: 이 방법은 TFM 또는 인코더에 대한 훈련 시간이 필요하지 않습니다. PALPooling 적합은 몇 초 만에 완료됩니다 (예: 이미지 데이터셋의 경우 16 초에서 54 초).

중요성 및 주장

이 논문은 기반 모델의 구성이 멀티모달 학습을 위한 간단하고 강력하며 "아웃오브더박스" 솔루션을 제공한다고 주장합니다. 그 주요 중요성은 새로운 문제에 대한 복잡한 엔드투엔드 훈련 파이프라인의 필요성에 도전하는 데 있습니다.

• 모듈성: 이 접근 방식은 백본이나 TFM 이 개선됨에 따라 독립적으로 교체할 수 있게 하여, 재훈련 없이 미래의 진보를 계승할 수 있게 합니다.
• 훈련 없는 효율성: 임베딩이 적절하게 적응 (PCA 를 통해) 되고 풀링 (PALPooling 을 통해) 된다면, 비표 형식 데이터조차도 컨텍스트 학습을 통해 베이즈 추론을 분산함으로써 강력한 예측 성능을 달성할 수 있음을 보여줍니다.
• 확장성: 이 방법은 계산적 제약으로 인해 기존 미세 조정 접근 방식으로는 처리가 어려운 방대한 데이터셋과 세밀한 클래스 공간 (수천 개의 클래스) 을 처리할 수 있게 합니다.

저자들은 겸손한 입장을 유지하며, PCA 는 간단한 어댑터이지만 더 정교한 TFM 기반 차원 축소 방법이 추가적인 향상을 가져올 수 있음을 인정합니다. 또한 현재 작업은 텍스트 및 이미지 모달리티에 초점을 맞추고 있지만, 이 템플릿은 오디오, 비디오와 같은 오프더셸 인코더가 있는 다른 도메인으로 일반화될 수 있음을 지적합니다.