기술 요약: 시각적 관계를 위한 멀티모달 함수 벡터 (Multimodal Function Vectors for Visual Relations)

문제 정의

대규모 멀티모달 모델(LMM)은 인컨텍스트 학습(ICL) 측면에서 인상적인 능력을 보여주지만, 관계적 추론 작업을 학습하고 실행하는 내부 메커니즘은 여전히 불투명합니다. 최근 대규모 언어 모델(LLM)에 대한 기계론적 해석 가능성 연구는 어텐션 헤드 활성화를 통해 도출된 압축된 작업 표현인 "함수 벡터(function vectors, FVs)"를 식별해 냈으나, 이를 멀티모달 환경으로 확장하는 것은 도전적인 과제입니다. 시각적 관계(예: "위"와 같은 공간적 위치 또는 "들고 있는" 것과 같은 행위자 간 상호작용)는 픽셀에 의해 명시적으로 신호가 주어지지 않으며, 고차원 시각적 특징과 자연어의 융합을 통해 추론되어야 합니다. 현재의 LMM은 데몬스트레이션(demonstrations)이 있더라도 체계적인 관계 개념을 습득하는 데 어려움을 겪으며, 종종 제로샷(zero-shot) 베이스라인보다 유의미하게 높은 성능을 내지 못합니다. 본 논문은 함수 벡터 패러다임을 LMM으로 확장하여 시각적 관계 지식을 추출, 조작 및 일반화할 수 있는지 조사합니다.

방법론

저자들은 OpenFlamingo와 Qwen3-VL를 중심으로, LMM의 내부 표현으로부터 관계 특화 함수 벡터를 식별하고 추출하기 위한 프레임워크를 제안합니다.

1. 데이터셋 및 태스크

본 연구는 두 가지 데이터셋을 활용합니다:

• 합성 데이터셋(Synthetic Dataset): 네 가지 공간적 관계(위, 아래, 왼쪽, 오른쪽)를 구현하기 위해 물체 컷아웃(Big and Small Objects 데이터셋)에서 생성된 7,000개의 이미지.
• 실제 이미지 데이터셋 (GQA): 공간적 관계(7가지 유형)와 행위자 관계(5가지 유형: 운반하기, 들고 있기, 타기, 앉아 있기, 입고 있기)가 주석 처리된 GQA 데이터셋의 서브셋.

평가 태스크는 모델이 쿼리 객체와 특정 관계를 만족하는 객체를 식별해야 하는 4-샷(4-shot) ICL 프롬프트입니다.

2. 벡터 추출을 위한 인과 매개 분석 (Causal Mediation Analysis)

관계적 추론을 담당하는 내부 구성 요소를 식별하기 위해 저자들은 인과 매개 분석을 채택합니다:

• 활성화 평균화(Activation Averaging): 특정 관계에 대해 일관된 인컨텍스트 데몬스트레이션 세트 전반에 걸친 어텐션 헤드의 평균 활성화를 계산합니다.
• 인과적 간접 효과(Causal Indirect Effect, CIE): 정보가 없는 컨텍스트(무작위 객체 쌍)를 포함한 섭동된(perturbed) 프롬프트를 구성하고, 특정 어텐션 헤드의 활성화를 관계 특화 평균 활성화로 대체했을 때 예측 확률의 변화를 측정합니다.
• 함수 벡터 정의: 평균 간접 효과(Average Indirect Effect, AIE) 점수가 가장 높은 어텐션 헤드들을 인과적 서브네트워크로 식별합니다. 관계 $t$에 대한 함수 벡터($v_t$)는 가장 영향력이 큰 상위 10개 어텐션 헤드의 평균 활성화의 합으로 정의됩니다.

3. 개입(Intervention) 및 미세 조정(Fine-Tuning)

• 제로샷 개입(Zero-Shot Intervention): 추출된 함수 벡터를 데몬스트레이션이 없는 제로샷 프롬프트의 은닉 상태(hidden states)에 주입하여, 올바른 관계 예측을 인과적으로 유도할 수 있는지 테스트합니다.
• 미세 조정: LMM 파라미터는 고정한 채, 제로샷 훈련 예시(1,000개의 합성 이미지 또는 약 2,100개의 GQA 이미지)를 사용하여 함수 벡터만을 최적화하는 "빠른 학습(Fast Learning)" 컴포넌트를 수행합니다. 이는 올바른 정답의 가능성을 극대화하도록 함수 벡터만을 업데이트합니다.

4. 유추를 위한 복합 함수 벡터 (Composite Function Vectors for Analogy)

선형 표현 가설(linear representation hypothesis)에서 영감을 받아, 저자들은 훈련되지 않은 관계(예: "위-왼쪽")가 훈련된 기본 관계(예: "위" + "왼쪽")의 벡터를 선형 결합함으로써 해결될 수 있는지 테스트합니다. 이들은 단일 소스 유추 예시를 기반으로 가중치를 계산하여 복합 벡터($v_{composite}$)를 형성하며, 이 벡터는 타겟 유추에 대한 추론을 가이드하는 데 사용됩니다.

주요 결과

1. 인과적 서브네트워크 식별

인과 매개 분석 결과, 관계적 예측에 강력한 인과적 영향을 미치는 것은 중간 레이어에 집중된 작고 희소한(sparse) 어텐션 헤드 서브셋뿐임을 밝혀냈습니다. 추출된 함수 벡터를 이러한 특정 레이어에 주입했을 때 제로샷 정확도가 베이스라인 대비 유의미하게 향상되었습니다.

2. 미세 조정을 통한 성능 향상

제로샷 데이터에 대해 함수 벡터를 미세 조정했을 때 표준 베이스라인보다 상당한 개선을 보였습니다:

• 합성 데이터셋: 미세 조정된 벡터(FFV)는 OpenFlamingo와 Qwen3-VL 모두에서 제로샷 베이스라인과 4-샷 ICL 베이스라인을 크게 능가했습니다. Qwen3-VL의 경우, FFV는 4-샷 ICL의 21.3%에 비해 72.2%의 정확도에 도달했습니다.
• GQA 데이터셋: FFV는 공간적 및 행위자 관계 모두에서 제로샷 베이스라인의 정확도를 두 배 이상 높였으며, 4-샷 ICL보다 우수한 성능을 보였습니다.
• 일반화: 이 접근 방식은 훈련 중에 보지 못한 새로운 객체와 새로운 관계(예: "위-왼쪽")에 대해서도 복합 벡터를 사용하여 일반화되었습니다.

3. 유추 및 구성성 (Analogy and Compositionality)

연구는 관계 특화 함수 벡터가 선형 결합되어 훈련되지 않은 공간 관계를 포함하는 원샷 유추 문제를 해결할 수 있음을 입증했습니다.

• OpenFlamingo 모델에서 복합 함수 벡터(CFV)는 4-샷 ICL의 정확도를 두 배(8.1%에서 16.8%로) 높였습니다.
• Qwen3-VL에서는 CFV가 4-샷 ICL의 28.7%에서 45.1%로 정확도를 개선하여 모든 ICL 베이스라인을 능가했습니다.

4. 절제 연구 (Ablation Studies)

• 주입 레이어(Injection Layer): 벡터를 중간 레이어(예: 레이어 19)에 주입했을 때 성능이 정점에 달했으며, 이는 해당 레이어들이 관계 연산을 트리거하는 데 최적임을 시사합니다.
• 헤드 세트 크기: 적은 수의 헤드(6~12개)가 최적의 성능을 냈으며, 더 많은 헤드를 추가하면 노이즈가 도입되었습니다.
• 컨텍스트 크기: 성능은 2-샷 및 4-샷 컨텍스트 전반에서 안정적이었으며, 8-샷 컨텍스트는 때때로 정확도를 약간 감소시켰습니다. 이는 견고한 활성화를 추출하는 데 적당한 컨텍스트가 충분함을 시사합니다.

의의 및 주장

본 논문은 다음을 입증함으로써 LMM의 모듈성과 제어에 대한 이해를 진전시킨다고 주장합니다:

1. 국소적 인코딩: 시각적 관계 지식은 분산되어 있거나 순수하게 창발적인 것이 아니라, 국소적인 내부 구조(특정 어텐션 헤드) 내에 인코딩됩니다.
2. 추출 가능성 및 조작 가능성: 이러한 표현은 인과 매개 분석을 통해 체계적으로 추출될 수 있으며, 전체 모델을 재학습하지 않고도 모델의 행동을 변경하기 위해 주입되거나 미세 조정될 수 있습니다.
3. 일반화: 이 접근 방식은 학습된 벡터를 선형적으로 결합함으로써 모델이 새로운 관계 문제(유추)를 해결할 수 있게 하는 구성적 일반화를 지원하며, 이는 모델의 내부 공간에 구조화된 "시각의 언어"가 존재함을 시사합니다.
4. 효율성: 함수 벡터(작은 파라미터 집합)만을 미세 조정하는 것이 표준 인컨텍스트 학습보다 효과적이며, 이는 LMM의 관계적 추론을 위한 효율적인 적응 경로를 제공합니다.

저자들은 이 프레임워크가 멀티모달 시스템의 관계적 추론을 해석하고 향상시키기 위한 개념 증명(proof of concept)을 제공한다고 결론지었으나, 테스트된 관계의 좁은 범위와 벡터 혼합을 추론하기 위해 현재의 컨텍스트 데몬스트레이션에 의존하고 있다는 한계점을 인정하였습니다.