Lexical Consensus: Grounded Word Learning and Shared Meaning in Artificial Agents

기술 요약: 어휘적 합의 (Lexical Consensus)

문제 정의
현재의 인공지능 평가는 주로 과업 수행도, 벤치마크 정확도, 그리고 행동 모방을 중심으로 조직되어 있다. 이러한 지표들은 가치가 있지만, 더 깊은 질문인 '인공 에이전트가 지면화된 경험(grounded experience)으로부터 도출된 새로운 어휘적 의미를 획득, 안정화 및 활용할 수 있는가?'라는 문제를 다루지는 못한다. 구체적으로, 에이전트가 제한된 시각적 지면 사례로부터 새로운 단어-개념 매핑을 학습하고, 이를 양방향(이미지-레이블 및 레이블-이미지)으로 일반화하며, 여러 에이전트 간에 이를 안정화할 수 있는지는 여전히 불분명하다. 본 논문은 모방 기반 평가와 획득 기반 평가 사이의 간극을 다루며, 에이전트가 사전 로드된 레이블이나 과업 특정적 정의에만 의존하지 않고 주변 환경에 대한 어휘를 획득할 수 있는지 묻는다.

방법론
본 논문은 구조화된 지각 기질(perceptual substrate) 위에서 지면화된 단어 학습을 평가하기 위해 설계된 재현 가능한 실험 프레임워크인 **어휘적 합의(Lexical Consensus)**를 소개한다. 이 프레임워크는 시각적 임베딩을 생성하기 위해 동결된 지각 인코더(DINOv2-small)를 사용하여 어휘 획득을 지각 학습으로부터 분리한다. 실험 설계는 다음 구성 요소를 포함한다:

• 인공 어휘집: 시스템은 루이스 캐럴의 어휘에서 가져온 캐럴식 비의미 단어(nonce words, 예: slithy, mimsy, vorpal)를 사용한다. 이 레이블들은 음절 구조상 그럴듯하지만 실험적으로는 지면화되지 않은 것들로, 의미적 누출(semantic leakage)을 방지하기 위해 불투명한 식별자로 시스템에 입력된다.
• 개념 분할 평가(Concept-Carving Evaluation): 획득이 단순히 기존 클러스터의 재라벨링인지, 아니면 지각적 일관성에 의존하는지를 테스트하기 위해, 프레임워크는 동결된 지각 기하학과 학습된 개념 사이의 관계에 따라 네 가지 개념 계층을 정의한다:
  1. 고유 개념(Native concepts): 하나의 레이블이 하나의 고유 시각 범주에 대응함.
  2. 근접 분리 개념(Near-disjunctive concepts): 레이블이 지각적으로 일관된 범주들을 그룹화함 (과잉 확장).
  3. 중간 분리 개념(Mid-disjunctive concepts): 레이블이 중간 정도의 지각적 거리를 가진 범주들을 그룹화함.
  4. 원거리 분리 개념(Far-disjunctive concepts): 레이블이 지각적으로 먼 범주들을 그룹화함 (임의적인 결합).
• 학습 에이전트: 연구에는 중심점 기반 학습자(동결된 인코더를 사용하는 프로토타입 네트워크), 다중 중심점 학습자, 예시 k-NN, 그리고 선형 베이스라인(로지스로직 회귀, 선형 SVM)을 포함한 해석 가능한 어휘 학습자가 사용된다.
• 양방향 지면화: 평가는 두 가지 방향으로 수행된다:
  • 조건 1 (C1): 이미지-투-레이블 명명 (새로운 이미지에 올바른 레이블을 할당).
  • 조건 2 (C2): 레이블-투-이미지 검색 (레이블이 주어졌을 때 후보 풀에서 유효한 인스턴스를 복구).
• 다중 에이전트 합의: 서로 다른 시드 세트에서 훈련된 에이전트 집단이 상호작용하여 레이블 사용에 대한 합의에 도달하며, 이는 합의 임계값과 정보 이론적 지표(엔트로피, 상호 정보량)로 측정된다.
• 허위 증명 통제(Falsification Controls): 프레임워크는 무작위 레이블 할당, 무작위 임베딩, 순열 이미지-임베딩 바인딩, 미등록 단어(OOV) 거부 테스트, 균질한 후보 풀 평가와 같은 엄격한 통제 장치를 포함하여 사소한 설명을 배제한다.

주요 기여

1. 어휘적 합의 프레임워크: Vera 등(2023)이 제안한 최초의 언어 습득 테스트를 제약된 경험적 구현으로 구현하여, 에이전트가 어떻게 언어와 유사한 매핑을 획득, 검색 및 안정화하는지 측정 가능한 프로토콜을 제공한다.
2. 지각적 일관성 구배(Perceptual-Coherence Gradient): 어휘 획득이 임의적인 집합 학습이 아니라 지각적 일관성에 의해 지배되는 단조로운 구배를 따른다는 것을 입증한다.
3. 지각과 의미의 분리: 지각적 거리와 의미적 관련성이 불일치하는 CIFAR-100에 대한 사전 등록 실험을 통해, 획득 정확도가 의미적 관계가 아닌 지각적 예측 변수에 의해 결정됨을 확인한다.
4. 양방향 차이: 이미지-투-레이블 명명과 레이블-투-이미지 검색이 서로 다른 능력(개념-기하학 호환성 vs. 기억 충실도)을 드러낸다는 증거를 제시한다.
5. 표상 재구조화에 대한 귀무 결과: 에이전트가 공유된 어휘 사용에 수렴할 수는 있지만, 이러한 합의가 현재의 아키텍처 하에서 내부 지각 표상을 실질적으로 재구성하지는 못한다는 결과를 보여준다.

결과

• 획득 구배: 명명 정확도(C1)는 강력하고 단조로운 지각적 일관성 구배를 따른다. 고유 범주는 거의 완벽한 정확도로 획득된다. 일관된 과잉 확장 개념은 여전히 높은 학습 가능성을 보인다. 중간 분리 개념은 부분적인 저하를 보이며, 원거리 분리 개념은 무작위 수준으로 저하된다. 이 패턴은 중심점, 예시, 선형 학습자 모두에서 유지된다.
• 지각적 vs. 의미적 동인: 지각적 거리와 의미적 거리가 불일치하는 분리 실험에서, 획득 정확도는 지각적 예측 변수를 추적했다 (부분 $R^2 = 0.245, p < 10^{-7}$). 의미적 예측 변수는 유의미한 설명력을 더하지 못했다 (부분 $R^2 = 0.002, p = 0.660$). 이는 구배가 측정 아티팩트가 아니라 지각적 기질의 기하학적 특성임을 확인해 준다.
• 검색 역학: 레이블-투-이미지 검색(C2)은 기억 충실도 차원을 드러낸다. 예시 기반 메커니즘은 특히 일관되지만 다중 모드인 개념에 대해 압축된 중심점 프로토타입보다 일관되게 우수한 성능을 보인다. 선형 판별 베이스라인은 어려운 후보 풀 하에서 추가적인 구조를 복구한다.
• 합의 및 정렬: 다중 에이전트 실험은 에이전트가 공유된 어휘에 수렴할 수 있으며, 피드백이 합의를 개선한다는 것을 보여준다. 그러나 피드백이 없는 베이스라인에서도 이미 높은 합의 정확도를 달 дости (달성) 한다는 점은, 공유된 지각 기하학이 지배적인 안정화 힘임을 시사한다. 결정적으로, 합의 피드백은 에이전트 간의 중심점 거리를 실질적으로 줄이거나 내부 표상을 재형성하지 않는다.
• 허위 증명: 임베딩이 무작위화되거나 이미지-임베딩 바인딩이 순열될 때 지면 효과가 붕괴되며, 이는 올바른 지면화가 지각적 기질과 레이블 간의 바인딩에 의존함을 확인시켜 준다.

의의 및 주장
본 논문은 Lexical Consensus를 완전한 인공 언어 습득을 위한 해결책이 아니라, 지면화된 어휘 학습의 경계를 연구하기 위한 **제약된 경험적 스캐폴드(scaffold)**로 위치시킨다.

주된 의의는 초기 어휘 획득이 지각적 일관성에 의해 제약된다는 것을 입증하는 데 있다. 에이전트는 가르쳐진 개념이 지각 공간의 일관된 영역과 일치할 때 레이블을 더 신뢰성 있게 학습한다. 가르쳐진 개념이 그 공간의 먼 영역을 가로지를수록 성능은 저하된다. 이는 지각 기질의 역할을 재정의한다: 그 구조는 숨겨야 할 혼란 변수가 아니라, 획득을 측정 가능하게 만드는 조건이다.

나아가, 본 논문은 공유된 어휘적 합의를 표상적 변형으로 과잉 해석해서는 안 된다고 주장한다. 에이전트가 공유된 지각 기하학 위에서 공동의 결정을 조율할 수는 있지만, 현재의 아키텍처는 어휘적 피드백만으로는 기저의 지각 임베딩을 재구성하지 못함을 보여준다.

궁극적으로, 이 연구는 AI 평가를 정적인 성능 지표에서, 지각적 제약 하에서 에이전트가 어떻게 의미를 획득, 검색 및 안정화하는지를 측정하는 획득 기반 테스트로 전환해야 한다고 주장한다. 이는 에이전트가 동결된 지각 위에 공유된 어휘 매핑을 획득하고 공유할 수는 있지만, 학습 가능한 범위는 가르쳐진 개념과 가용 지각 기하학 사이의 정렬에 의해 엄격히 제한된다는 것을 확립한다.