기술 요약: 선형 분리 가능성 천장을 넘어: VLM의 표현 정렬

문제 정의

최첨단 시각-언어 모델(VLM)은 강력한 시각적 인지 능력을 갖추고 있음에도 불구하고, 봉가드 문제(Bongard problems)와 같은 추상적 추론 작업에서 빈번하게 실패한다. 이 분야의 핵심 과제는 이러한 실패가 결함이 있는 상향식(bottom-up) 시각적 인지(필요한 특징을 추출하지 못함) 때문인지, 아니면 결함이 있는 하향식(top-down) 추론(사전 지식을 사용하여 해당 특징을 해석하지 못함) 때문인지를 분리해 내는 것이다. 기존 연구들은 모델의 가공되지 않은 시각적 표현과 생성적 추론 출력 사이의 간극을 정량화할 경험적 방법론의 부재로 인해 주요 실패 원인을 격리하는 데 어려움을 겪어왔다.

방법론

저자들은 이러한 모호함을 해결하기 위해 **선형 분리 가능성 천장(Linear Separability Ceiling, LSC)**을 중심으로 한 진단 프레임워크를 도입한다.

1. 선형 분리 가능성 천장 (LSC): LSC는 VLM의 가공되지 않은 시각적 임베딩에 대한 단순 선형 분류기(구체적으로는 최근접 중심점 분류기, nearest-centroid classifier)가 달성할 수 있는 성능으로 정의된다. 이 지표는 초기 시각적 표현의 품질에 대한 기준선을 설정한다. 만약 모델의 엔드 투 엔드(end-to-end) 생성 성능이 이 천장을 통계적으로 뛰어넘지 못한다면, 이는 인지 경로가 아닌 추론 경로의 실패를 의미한다.
2. 진단 프레임워크: 프레임워크는 세 가지 지표를 비교한다:
   • LSC: 초기 시각 임베딩에 대한 선형 프로브(linear probe)의 정확도.
   • 최종 표현 정확도 (Final Representation Accuracy): LLM의 최종 은닉 상태(hidden states)에 대한 선형 프로브의 정확도.
   • 생성 정확도 (Generative Accuracy): 모델의 표준 차기 토큰 예측 성능.
     통계적 유의성 검정(카이제곱 검정)을 사용하여 생성 성능이 실제로 LSC보다 우수한지, 아니면 "정렬 간극(alignment gap)"이 존재하는지 결정한다.
3. 개입 전략: 본 연구는 이 간극을 메우기 위해 여러 매개변수 효율적 미세 조정(PEFT) 방법을 평가한다:
   • 포스트픽스 튜닝 (Postfix Tuning): 초기 표현을 변경하지 않고 잠재된 추론 경로를 활성화하기 위해 시퀀스 끝에 학습 가능한 소프트 프롬프트를 추가한다.
   • LoRA (Low-Rank Adaptation): 어텐션 및 MLP 레이어에 학습 가능한 행렬을 주입한다.
   • 결합 목적 함수 ($L_{combined}$): 표준 차기 토큰 예측($L_{NT}$)과 명시적인 대조 손실($L_{sim}$)을 결합한 새로운 학습 목적 함수이다. 이 대조 항은 쿼리 이미지의 최종 임베딩이 실제 카테고리의 중심점과는 더 가까워지고 대안과는 더 멀어지도록 유도하여, 시각적 매니폴드를 1차원적으로 선형적인 기하 구조로 재구조화한다.

주요 결과

1. 만연한 정렬 간극

Phi, Pixtral, Gemma, InternVL, Qwen을 포함한 8개의 최첨단 VLM에 봉가드 스타일의 데이터셋을 적용한 결과, 광범위한 "정렬 간극"이 발견되었다. 대부분의 모델에서 생성 성능은 자신의 LSC와 통계적으로 구별할 수 없거나 오히려 열등하다. 이는 모델이 고품질의 시각적 표현(높은 LSC)을 보유하고 있음에도 불구하고, 그 표현을 활용하기 위한 추론 경로가 효과적으로 정렬되지 않았음을 시사한다.

2. 천장을 넘어서는 두 가지 경로

LSC를 성공적으로 초과하는 소수의 모델은 두 가지 뚜렷한 메커니즘을 통해 이를 달성한다:

• 선형 분리 가능성 강화: Pixtral과 같은 모델은 비선형 과정을 통해 시각적 표현을 더 선형적으로 분리 가능한 형식으로 정제함으로써, 상향식 인지 과정을 효과적으로 확장한다.
• 비선형 결정 로직: 성공적인 대부분의 모델은 임베딩으로부터 선형적으로 읽을 수 없는 해답을 계산하는 비선형 결정 로직(하향식 추론)을 실행한다. 포스트픽스 튜닝의 성공은 이에 대한 증거가 되는데, 이는 초기 표현을 바꿀 수는 없지만 잠재된 추론 경로를 활성화할 수 있음을 보여준다.

3. 병목 구간의 위치

절제 연구(Ablation studies)를 통해 병목 현상이 비전 인코더의 인지가 아닌 LLM의 추론 경로 내에 있음을 확인했다. 비전 인코더에 LoRA를 적용하는 것은 LLM만을 적응시켰을 때와 비교하여 추가적인 성능 향상을 가져오지 못했다.

4. 작업 의존적 적응

• 원자적 개념 (Atomic Concepts): 원자적 의미 개념 비교(예: OpenWorld)가 포함된 작업의 경우, 프롬프트 튜닝을 통한 활성화만으로도 충분하다.
• 관계적 개념 (Relational Concepts): 관계적 의미 개념에 대한 추론(예: Bongard-HOI)이 필요한 작업의 경우에는 성능을 높이기 위해 LoRA를 통한 더 깊은 적응이 필요하다.

5. 결합 목적 함수 ($L_{combined}$)

제안된 $L_{combined}$ 목적 함수는 상충하는 신호들을 성공적으로 균형 있게 조절한다. 시각적 매니폴드를 전역적으로 일관된 1차원적 선형 광선(rays)으로 재구조화함으로써, 이미지 간 비교를 개선한다. 이 접근 방식은 모델이 추상적 구성 추론 작업에서 LSC를 크게 초과하도록 하며, 분포 외(OOD) 개념 및 Winoground과 같은 교차 도메인 작업에 대한 강건한 일반화 능력을 입증한다.

의의 및 주장

본 논문은 VLM의 추상적 추론에서의 병목이 인지의 근본적인 한계가 아니라 해결 가능한 시각적 정렬 문제임을 입증한다고 주장한다.

• 진단적 유용성: LSC 프레임워크는 정렬 간극을 공식화하기 위한 기하학적 및 통계적 렌즈를 제공하며, 정렬되지 않은 추론 경로와 근본적으로 결여된 지각적 지식을 구분한다.
• 기계론적 통찰: 본 연구는 추론 능력이 종종 시각적 인지의 선형 분리 가능성보다 뒤처져 있음을 식별한다. 또한, 전역적으로 일관된 구조(선형 기하학)가 분포 외 구성 추론 작업으로의 전이를 촉진한다고 상정한다.
• 실질적 솔루션: 본 논문은 표준 차기 토큰 예측에 대조 목적 함수를 결합하는 학습 방법론을 제시한다. 이 접근 방식은 시각적 매니폴드를 재구조화하여 모델이 내부 시각 표현을 더 잘 활용하게 함으로써, 추상적 작업에 대한 높은 해석 가능성과 성능을 달だけで 한다.

저자들은 특정 기하학적 구조를 강제하는 것이 프롬프트 형식에 취약성을 초래할 수 있지만, 표현을 선형적으로 분리 가능한 형식으로 재구조화하는 능력은 더 유능하고 해석 가능한 멀티모달 추론을 향한 핵심적인 단계라고 결론짓는다. 향후 연구로는 현재 VLM의 "분리된 뇌(split-brain)" 병리를 해결하기 위해 이 시퀀스 단위의 분산 표현 개념을 텍스트 모달리티로 확장하는 것이 제안되었다.