Structural Graph Probing of Vision-Language Models

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 멀티모달 성능에서 뛰어난 성과를 보이고 있지만, 신경망 내부에서 계산이 어떻게 조직화되는지에 대한 이해는 여전히 부족합니다.

• 기존 한계: 기존의 해석 가능성 (Interpretability) 연구는 주로 어텐션 패턴, 중요도 맵 (Saliency maps), 토큰/컴포넌트 수준의 국소적 분석에 집중해 왔습니다. 이는 중요한 입력이나 국소적 메커니즘을 식별하는 데 유용하지만, 대규모 뉴런 집단 (Population) 간의 상호작용을 통해 멀티모달 행동이 어떻게 실현되는지 설명하는 데는 한계가 있습니다.
• 핵심 질문: 시각적 증거와 언어적 맥락이 레이어 간에 어떻게 조정되며, 중간 계산이 뉴런 집단 간에 어떻게 분포되어 있고, 어떤 내부 구조가 최종 모델 행동을 지배하는지 규명하는 것이 필요합니다.

2. 방법론 (Methodology)

이 논문은 VLM 을 신경 토폴로지 (Neural Topology) 의 관점에서 분석합니다. 각 레이어를 뉴런 - 뉴런 간 공활성화 (Co-activations) 에서 유도된 레이어 내 상관관계 그래프 (Within-layer Correlation Graph) 로 표현합니다.

2.1. 신경 토폴로지 구성 (Neural Correlation Topology)

• 그래프 정의: 각 레이어 $\ell$ 를 가중치 그래프 $G^{(\ell)} = (V, E, W^{(\ell)})$ 로 정의합니다.
  • 노드 ($V$): 뉴런 (히든 차원 $d$ 개).
  • 엣지 가중치 ($W^{(\ell)}_{ij}$): 이미지 - 텍스트 추론 과정에서 해당 뉴런 쌍의 활성화 프로파일 간의 피어슨 상관관계 (Pearson Correlation).
• 모달리티 분리: 동일한 포워드 패스를 기반으로 시각 토큰 ($H_{vis}$) 과 텍스트 토큰 ($H_{text}$) 을 분리하여 각각의 그래프 ($G_{vis}, G_{text}$) 와 멀티모달 그래프 ($G$) 를 구성합니다. 이를 통해 모달리티별 구조적 차이를 분석합니다.

2.2. 그래프 표현 및 분석

• 노드 임베딩: 뉴런의 실제 활성화 값이나 토큰 의미는 노출하지 않고, 학습 가능한 원-핫 (One-hot) 노드 식별 임베딩을 사용합니다.
• 그래프 합성곱 네트워크 (GCN): 상관관계 그래프 위에서 GCN 을 실행하여 토폴로지 의존적 노드 표현을 생성합니다.
• 레이어 서명 (Signature): 평균 풀링 (Mean pooling) 과 최대 풀링 (Max pooling) 을 결합하여 각 레이어의 고정 차원 구조적 서명 ($h^{(\ell)}$) 을 추출합니다. 이는 행동 예측, 멀티모달 구조 분석, 개입 (Intervention) 대상 식별에 사용됩니다.

2.3. 실험 설계

• 모델: InternVL3-1B, Qwen2.5-VL-3B, LLaVA-1.5-7B 등 다양한 VLM 패밀리 사용.
• 데이터셋: CLEVR (수치적 추론), TDIUC (의미론적 인식), MHaluBench (할루시네이션), MMMU 등.
• 분석 단계:
  1. 예측 가능성 (Predictability): 그래프 기반 프로브 (Linear, GCN) 가 모델 행동을 예측할 수 있는지 검증.
  2. 멀티모달 구조 (Multimodal Structure): 레이어 깊이에 따른 모달리티 간 상관관계 변화 및 허브 (Hub) 뉴런의 안정성 분석.
  3. 인과적 개입 (Causal Intervention): 토폴로지로 정의된 허브 뉴런이나 엣지를 조작 (Perturbation) 하여 모델 성능 변화를 측정.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 행동 예측 가능성 (Behavioral Predictability)

• 그래프 프로브의 우위: 선형 프로브 (Linear probe) 대비 그래프 기반 프로브 (GCN) 가 대부분의 모델 - 데이터셋 조합에서 더 높은 정확도와 F1 점수를 기록했습니다. 특히 CLEVR(카운팅) 과 TDIUC(스포츠 분류) 과 같은 grounded 태스크에서 성능 향상이 두드러졌습니다.
• 회귀 성능: 객체 카운팅 회귀 작업에서도 그래프 기반 프로브가 MSE 를 줄이고 $R^2$ 및 피어슨 상관을 향상시켜, 토폴로지가 수치적 추정에도 유효한 신호를 담고 있음을 입증했습니다.
• 희소성 (Sparsity): 상관관계 그래프의 밀도를 0.2 이하로 희소화하더라도 예측 정확도가 유지됨을 확인했습니다. 즉, 가장 강력한 상관관계만으로도 핵심 구조적 신호를 포착할 수 있습니다.
• 할루시네이션 탐지: 텍스트 기반 베이스라인 (Word2Vec 등) 보다 그래프 기반 프로브가 할루시네이션 여부를 더 정확하게 분류하여, 할루시네이션이 단순한 어휘적 신호가 아닌 뉴런 간 상관관계 구조와 연관됨을 시사했습니다.

3.2. 멀티모달 구조 및 정렬 (Multimodal Structure & Alignment)

• 교차 모달 상관관계 역동성: 레이어가 깊어질수록 시각 - 텍스트 (Vision-Text) 및 텍스트 - 텍스트 상관관계는 증가하는 반면, 시각 - 시각 상관관계는 상대적으로 평탄하게 유지됩니다. 이는 후기 레이어에서 멀티모달 통합이 강화됨을 보여줍니다.
• 구조적 허브의 안정성: 그래프 기반 (Degree 기반) 으로 정의된 허브 뉴런은 활성화 크기 기반이나 단일 모달리티 기반 허브보다 샘플 간 재현성 (Recurrence) 이 훨씬 높았습니다. 이는 특정 뉴런들이 다양한 입력에 걸쳐 구조적으로 중심적인 역할을 수행함을 의미합니다.
• 레이어별 안정성: 허브의 안정성은 중간 레이어에서 가장 높게 나타났으며, 이는 교차 모달 결합이 가장 강해지는 영역과 일치합니다.
• 그래프 정렬 (Alignment): 멀티모달 그래프와 단일 모달리티 (텍스트만) 그래프 간의 정렬 점수 (GAUC) 를 분석한 결과, 멀티모달 파인튜닝이 시각과 언어 경로를 완전히 동일하게 만들지는 않지만, 부분적으로 정렬되면서도 의미 있는 구조적 차이를 유지함을 발견했습니다.

3.3. 인과적 개입 분석 (Causal Intervention)

• 허브 뉴런 제거 (Ablation): 그래프 연결도 (Degree) 가 높은 상위 1% 뉴런을 제거했을 때, 무작위 제거나 활성화 크기 기반 제거보다 모델 성능이 더 크게 저하되었습니다. 이는 구조적 중심성이 행동에 중요한 뉴런을 식별하는 데 더 효과적임을 보여줍니다.
• 엣지 레벨 개입: 가장 강력한 엣지 (뉴런 쌍) 의 한쪽 끝을 상대 뉴런의 활성화로 대체 (Identical) 하거나 반전 (Opposite) 시켰을 때, 반전 (Opposite) 시 가장 큰 성능 저하가 발생했습니다. 이는 엣지의 중요성이 개별 뉴런의 정체성뿐만 아니라 조정된 활동의 부호와 정렬에도 의존함을 의미합니다.
• 허브 활성화 교란: 허브 뉴런의 활성화 값을 증폭하거나 억제하는 작은 교란만으로도 성능이 크게 저하되었으며, 이는 허브가 좁은 기능적 범위 내에서 작동함을 시사합니다.

4. 의의 및 결론 (Significance)

• 해석 가능성의 새로운 패러다임: 이 연구는 VLM 해석 가능성을 단순한 국소적 귀속 (Local Attribution) 이나 완전한 회로 복구 사이에서 중간 규모 (Intermediate Scale) 인 '구조적 토폴로지'로 확장합니다.
• 집단적 계산의 이해: 멀티모달 추론은 개별 뉴런의 합이 아니라, 구조화된 뉴런 집단, 지속적 허브, 조정된 관계의 창발적 속성으로 이해해야 함을 보여줍니다.
• 실용적 가치: 신경 토폴로지는 행동적으로 의미 있는 내부 조직을 드러내면서도, 레이어, 모달리티, 모델 간 비교가 용이한 실용적인 분석 도구로 입증되었습니다.
• 기여: 이 작업은 VLM 의 내부 작동 원리를 이해하는 데 있어 뉴런 간의 상관관계 구조 (Topology) 가 행동 예측, 구조적 분석, 그리고 인과적 개입 대상 식별에 모두 유효한 핵심 척도임을 최초로 체계적으로 증명했습니다.

이 논문은 VLM 의 "블랙박스"를 열기 위해 뉴런 간의 연결 구조를 그래프로 모델링하고, 이를 통해 모델의 행동과 내부 메커니즘 사이의 인과적 관계를 규명하는 새로운 프레임워크를 제시했습니다.