기술 요약: 언어 모델에서 기호 접지(Symbol Grounding)의 기계론적 창발

문제 정의

하나드(Harnad, 1990)가 정의한 기호 접지는 추상적인 기호(예: 단어)가 어떻게 실제 세계의 감각 운동 경험과 연결되어 의미를 획득하는지를 다룬다. 최근의 대규모 시각-언어 모델(VLM)과 자기회귀 언어 모델(LM)은 명시적인 감독 없이도 접지가 창발할 수 있다는 예비적 증거를 보여주었으나, 이러한 창발을 주도하는 구체적인 위치와 메커니즘은 여전히 미개척 영역으로 남아 있다. 기존 연구들은 주로 상관관계적 증거(예: 어텐션 중첩 또는 기하학적 정렬)에 의존해 왔으며, 훈련 궤적과 환경적 맥락을 언어적 형태와 연결하는 인과적 내부 메커니즘을 간과한 채 정적인 최종 단계 모델에 집중해 왔다.

방법론

이러한 공백을 메우기 위해, 저자들은 기계론적 및 인과적 분석을 통해 기호 접지의 창발을 추적하는 통제된 평가 프레임워크를 도입한다.

1. 통제된 테스트베드 및 토큰화

본 연구는 모든 어휘 항목이 두 개의 구별되는 비중복 토큰으로 표현되는 최소 단위의 테스트베드를 구축한다:

• 환경 토큰 ($\langle ENV \rangle$): 비언어적 장면 설명(예: 장면 설명에서의 "box") 또는 시각적 입력(이미지 패치)에 나타남.
• 언어 토큰 ($\langle LAN \rangle$): 구어 또는 문어 발화(예: 대화에서의 "box")에 나타남.
  커스텀 토크나이저는 이 형태들이 별도의 어휘 인덱스를 갖도록 보장하여, 공유된 토큰 정체성을 통한 단순한 방식의 접지 해결을 방지한다. 프레임워크는 다음을 활용한다:
• 아동 지향 언어 (CHILDES): 환경적 주석(지역적 사건, 행동, 상황 계층)을 $\langle ENV \rangle$로, 발화를 $\langle LAN \rangle$로 사용.
• 이미지 접지 대화 (Visual Dialog): 고정된 ViT 임베딩(DINOv2)을 $\langle ENV \rangle$로, 대화 턴을 $\langle LAN \rangle$로 사용.
• 캡션 접지 대화 (Caption-Grounded Dialogue): 이미지 캡션을 $\langle ENV \rangle$로 사용하는 중간 단계 설정.

2. 평가 프로토콜

접지는 **의외성(surprisal)**과 **접지 정보 이득($G_\theta$)**을 사용하여 정량화된다. 저자들은 두 조건을 비교한다:

• 일치(Match): 맥락에 대상 $\langle LAN \rangle$에 대응하는 $\langle ENV \rangle$ 토큰이 포함됨.
• 불일치(Mismatch): 맥락에 다른 관련 없는 $\langle ENV \rangle$ 토큰이 포함됨.
  양(+)의 $G_\theta$는 매칭된 환경 토큰이 단순한 공생 통계(co-occurrence statistics)가 예측하는 수준 이상으로 그에 대응하는 언어적 대응물의 예측 가능성을 유의미하게 높인다는 것을 나타낸다.

3. 모델 아키텍처 및 훈련

모델은 무작위 초기화로부터 표준적인 인과적 언어 모델링 목적 함수를 통해 훈련된다. 본 연구는 다음을 평가한다:

• 트랜스포머(Transformers): 4, 12, 18 레이어 변체.
• 상태 공간 모델(SSMs): Mamba-2 (4 및 12 레이어).
• LSTM: 4 레이어 단방향 LSTM (내용 주소 지정형 검색 기능이 없는 순차적 압축의 베이스라인 역할).
  실험은 견고성을 보장하기 위해 5개의 무작위 시드로 반복된다.

4. 기계론적 분석

접지가 어떻게 발생하는지 설명하기 위해 저자들은 다음을 사용한다:

• 돌출도 분석(Saliency Analysis): 어텐션 가중치가 손실(loss)에 기여하는 정도를 정량화하며, 특히 $\langle ENV \rangle$에서 $\langle LAN \rangle$ 직전 토큰으로 흐르는 흐름을 추적함.
• 튜닝드 렌즈(Tuned Lens): 중간 은닉 상태를 프로빙하여 레이어 전반에 걸친 표현 변화를 평가함.
• 인과적 개입(Causal Interventions): "수집(gather)" 또는 "집계(aggregate)" 헤드로 식별된 특정 어텐션 헤드를 제로화(zeroing out)하여 의외성에 미치는 영향을 측정함.

주요 결과

1. 접지의 행동적 창발

• 아키텍처 의존성: 트랜스포머와 Mamba-2 모델은 맥락 내에 $\langle ENV \rangle$ 토큰이 존재할 때 $\langle LAN \rangle$ 토큰에 대한 의외성이 일관되게 감소함을 보인다. 반면, 단방향 LSTM은 일치와 불일치 조건 사이에서 유의미한 차이를 보이지 못하며 접지 현상을 나타내지 못했다.
• 공생 관계를 넘어서: 훈련 초기에는 접지 이득과 토큰 공생 관계($R^2$) 사이에 상관관계가 나타나지만, 훈련이 진행됨에 따라 이 상관관계는 감소한다. 접지 정보 이득은 $R^2$가 감소함에도 불구하고 계속 증가하는데, 이는 모델이 단순한 암기가 아닌 더 풍부하고 비통계적인 매핑을 학습하고 있음을 시사한다.
• 일반화: 이러한 경향은 모달리티(텍스트 기반 CHILDES, 이미지 접지 대화, 캡션 접지 대화)와 아키텍처(Transformer 및 SSM) 전반에 걸쳐 유지된다.

2. 기계론적 위치: 집계 메커니즘(The Aggregate Mechanism)

• 레이어 집중도: 돌출도 분석 결과, 접지 관계는 중간 레이어(특히 12개 레이어 트랜스포머의 7~9번 레이어)에 집중되어 있음이 밝혀졌다. 초기 레이어는 훈련 후기 단계에서도 예측력이 낮았다.
• 수집 및 집계 헤드(Gather-and-Aggregate Heads): 연구는 다음과 같은 특정 메커니즘을 식별한다:
  • 수집 헤드(Gather Heads): 얕은 레이어(3~4)에 위치하며, $\langle ENV \rangle$ 토큰으로부터 맥락 정보를 검색 가능한 상태로 압축한다.
  • 집계 헤드(Aggregate Heads): 중간 레이어(7~8)에 위치하며, 이 정보를 $\langle LAN \rangle$ 형태 바로 앞의 토큰으로 재분배하여 직접적으로 예측을 지원한다.
• 인과적 검증: 집계 헤드를 제로화하면 의외성이 유의미하게 증가($p < 0.001$)하는 반면, 수집 헤드나 무작위 제어 헤드를 제로화했을 때는 영향이 미미했다. 이는 집계 헤드가 기호 접지를 주도하는 핵심적인 기계론적 동인임을 확인시켜 준다.

3. 규모 및 실제 모델

• 전체 규모의 VLM(예: LLaVA-1.5-7B)에서도 유사한 집계 동작을 보이는 어텐션 헤드가 식별되었으며, 이는 복잡한 사전 훈련 시스템에서도 접합(grounding)이 특화된 헤드들로부터 발생한다는 가설을 강화한다.

의의 및 주장

본 논문은 오직 다음 토큰 예측 목적 함수만으로 훈련된 자기회귀 멀티모달 언어 모델에서 기호 접지가 창발될 수 있다는 인과적 및 기계론적 증거를 제시한 첫 사례라고 주장한다.

• 기계론적 접지의 정의: 본 연구는 접지를 단순히 시각적 신호와 텍로 신호 사이의 통계적 상관관계가 아니라, 훈련 역학을 통해 추적 가능하고 특정 어텐션 메커니즘(집계 헤드)에 국한된 기계론적 속성으로 재정의한다.
• 아키텍처적 경계: 본 연구는 접지가 창발하는 데 필요한 아키텍처적 조건을 규명하며, 표준 LSTM과 같이 콘텐츠 주소 지정형 검색 기능이 결여된 아키텍처는 이 능력을 발달시키지 못함을 지적한다.
• 실질적 시사점: 집계 헤드의 식별은 모델의 신뢰성을 진단하고 제어할 수 있는 잠재적 경로를 제공한다. 환각(hallucination)은 종면 중간 레이어에서의 잘못된 어텐션 할당에서 비롯되는 경우가 많으므로, 이러한 특정 헤드를 모니터링함으로써 "거짓 접지(false grounding)" 또는 과잉 신뢰를 나타내는 조기 지표로 활용하여 디코딩 시점의 전략을 개선할 수 있다.

저자들은 비록 이 최소 단위의 테스트베드가 통제된 대리물(proxy)일지라도, 그 결과가 현실적인 멀티모달 설정으로 일반화될 수 있다고 결론지으며, 기호 결합 및 접지 능력은 충분히 표현력이 있는 자기회귀 아키텍처의 내재적인 창발적 속성임을 시사한다.