기술 요약: 신경-기호적 어휘 발견 (Neuro-Symbolic Lexical Discovery, NSLD)

1. 문제 정의

본 논문은 완전히 미지의 환경(예: 행성 탐사 또는 심해 탐사)에 LLM 에이전트를 배치할 때 발생하는 결정적인 병목 현상을 다룬다. LLM은 자연어 의사소통에는 뛰어나지만, 인간의 언어에 이름이 존재하지 않는 관찰 가능한 지시체(referent)에 새로운 기호를 접지(grounding)하는 메커니즘이 부족하다. 기존 방식들은 의미론적으로 불투로한 토큰을 생성하거나, 어휘 구축을 위해 직접적인 인간의 참여를 요구한다. 이는 에이전트가 자연어 코퍼스에 전혀 존재하지 않는 외계 지시체에 대해 시각적 접지를 획득할 수 없으며, 이러한 새로운 "외계" 기호를 알려진 인간의 단어와 연관시켜 결과를 보고할 수 없는 "기호 접지 문제(Symbol Grounding Problem, SGP)"를 야기한다. 저자들은 로보틱스에 효과적으로 배치되기 위해서, LLM이 사전적인 언어 표현 없이도 분포 외(out-of-distribution, OOD) 엔티티에 대해 자율적으로 공유된 접지 어휘를 개발할 수 있어야 한다고 주장한다.

2. 방법론: 신경-기호적 어휘 발견 (NSLD) 프레임워크

저자들은 LLM 기반의 에이전트 집단이 "접지 참조 게임(Grounding Referential Game)"을 수행하여 공유된 외계 어휘를 자기 조직화하는 신경-기호적 시스템인 NSLD 프레임워크를 제안한다.

2.1 에이전트 아키텍처

각 에이전트는 세 가지 통합된 구성 요소로 이루어진다:

• 지각 (시각): 공유된 512차원 임베딩 공간으로 시각적 입력을 투영하는 동결된 CLIP 비전 인코더(ViT-B/32)이다. 이 모듈은 내부 의미 벡터에 대한 투명한 접근을 보장하기 위해 추론 엔진과 분리되어 있다.
• 기억 (접지된 어휘집): 지속적인 어휘 메모리 역할을 하는 개별적인 FAISS 벡터 인덱스이다. 이는 두 부분으로 나뉜다:
  1. 정적 지각 베이스: 자연어와의 가교 역할을 하기 위해 CLIP 텍스트로 인코딩된 약 3,000개의 영어 명사/형용사로 구성된다.
  2. 동적 외계 단어 인덱스: 각 에이전트에게 개별적으로 부여되며, 새로 만들어진 "외계" 단어와 연관된 시각적 지시체의 CLIP 이미지 임베딩을 저장한다.
• 추론 (LLM): 의사 결정, 어휘 선택 및 게임 전략을 담당하는 텍st 전용 LLM(실험에서는 구체적으로 gpt-oss:20b 사용)이다. 이 모델은 제어된 도구 인터페이스(예: observe_environment, add_alien_word, check_confidence)를 통해 시각 및 기억 모듈과 상호작용한다.

2.2 접지 참조 게임

프레임워크는 화자(Speaker)와 청자(Hearer)가 참여하는 반복적인 라운드를 통해 작동한다:

1. 화자 단계: 화자는 OOD 시각 지시체(합성 외계 생명체, 암석, 유물 등)를 관찰하고, 하나를 선택한 후 "외계 단어"(자연어와 중복되지 않도록 고정된 음운 목록에서 추출한 3음절 문자열)를 생성한다. 이 단어는 해당 지시체의 CLIP 임베딩과 연관됨으로써 접지된다.
2. 청자 단계: 청자는 동일한 지시체를 관찰하며(공동 주의), 자신의 어휘집에서 이를 지칭할 단어를 선택해야 한다.
3. 피드백 및 업데이트:
   • 성공: 단어가 일치하면, 두 에이전트 모두 해당 단어에 대한 신뢰도 점수를 높인다(+0.25).
   • 실패: 단어가 다르면, 신뢰도가 감소한다(-0.20). 에이전트들은 이 신뢰도 점수를 사용하여 자신의 단어를 유지할지 아니면 파트너의 단어를 채택할지 결정하며, 이에 따라 FAISS 인덱스를 업데이트한다.

2.3 실험 설정

• 데이터셋: LLM 학습 코퍼스에 인식되지 않도록 설계된 Nano Banana Pro 생성 합성 OOD 시각 지시체 10개.
• 규모: 에이전트 수($n_a$)는 220명, 엔티티 수($n_e$)는 310개 범위의 시뮬레이션.
• 제약 조건: 사전 학습된 언어적 지름길을 방지하기 위해 외계 단어는 엄격하게 음운 목록 내로 제한된다.

3. 주요 결과

3.1 어휘 수렴

시스템은 테스트된 모든 구성에서 일관된 합의를 안정적으로 달 achieves 한다.

• 역학: 초기 라운드에서는 많은 독특하고 일시적인 단어들이 나타나며 높은 발산성을 보인다. 시간이 흐름에 따라 "승자 독식(winner-take-all)" 역학이 나타나며, 각 지시체에 대해 고유한 공유 외계 단어가 생성된다.
• 성능: 5개 에이전트, 5개 지시체 시나리오에서 약 165라운드 후에 합의(합의도 $G \ge 0.95$로 정의)에 도달했다.
• 확장성: 수렴 시간($T_{0.95}$)은 인구 규모 및 엔티티 수에 따라 단조 증가한다. 가장 빠른 구성($n_a=2, n_e=3$)은 $16 \pm 9$ 라운드 만에 수렴한 반면, 가장 느린 구성($n_a=20, n_e=10$)은 $4572 \pm 472$ 라운드가 필요했다.

3.2 의미론적 접지 및 인간-기계 정렬

결정적으로, 발견된 외계 단어들은 의미론적으로 고립되어 있지 않다. 외계 단어들은 CLIP 임베딩 공간에 닻을 내리고 있기 때문에, 정적 영어 지각 베이스와 의미적 근접성을 상속받는다.

• 해석 가능성: 각 외계 단어는 벡터 근접성에 기반하여 일관된 영어 기술어(예: "rock", "creature")와 연관되며, 이를 통해 인간 운영자는 시각적 지시체를 직접 관찰하지 않고도 에이전트의 어휘를 이해할 수 있다.
• 접지: 시스템은 인간의 어휘를 새로운 용어로 효과적으로 확장하는, 지각적으로 접지된 "외계어-영어" 연결을 성공적으로 생성한다.

3.3 분석 모델링

저자들은 수렴 역학을 특징짓는 세 가지 수학적 모델을 제안하며, 이들은 모두 $R^2 > 0.95$를 달성했다:

1. 직접 모델 (Direct Model): $n_a$와 $n_e$를 기반으로 라운드 $T$에서의 접지 합의도 $G(T)$를 예측하는 로지스틱 함수.
2. 역 모델 (Inverse Model): 특정 합의 임계값 $\theta$에 도달하는 데 필요한 라운드 수를 추정.
3. 어휘 모델 (Vocabulary Model): 합의가 이루어짐에 따라 발생하는 초기 고유 단어의 폭발적 증가와 이후의 가지치기 단계를 포착하여 글로벌 어휘 크기 $V(T)$의 진화를 예측.

4. 주요 기여

1. OOD 접지를 위한 새로운 프레임워크: NSLD 프레임워크는 LLM 에이전트가 사전적인 언어 표현이 전혀 없는 지시체에 대해서도 고유한 지각적 접지를 획득할 수 있음을 보여주며, 이는 LLM이 언어 코퍼스를 통한 간접적 접지만 보유한다는 가설에 도전한다.
2. 자율적 어휘 공동 개발: 이 시스템은 인간의 개입 없이 자율적으로 공유된 인간-기계 어휘를 구축하며, 이는 인간-기계 상호작용에서 해결되지 않은 과제로 식별되었던 문제를 해결한다.
3. 임베딩 공간을 통한 해석 가능성: 외계 기호를 공유 임베딩 공간에 고정함으로써, 본 프레임워크는 자연어 기술어와의 의미적 근접성을 통해 창발적 의사소통을 인간이 해석할 수 있게 만든다.
4. 예측 계획 도구: 도출된 분석 모델은 인구 규모와 환경 복잡성에 따른 자원 추정(라운드/시간)을 가능하게 하여, 사전 배포 계획을 위한 첫 걸음을 제공한다.

5. 의의 및 주장

본 논문은 NSLD가 고전적인 네이밍 게임(naming games) 및 기존의 창발적 의사소통 연구보다 질적으로 진보된 형태라고 주장한다. 이전 연구들이 공유된 임의적 토큰으로의 수렴을 증명했다면, NSLD는 대화 맥락에서 분리되어 지속적인 지각 메모리에 닻을 내린 공유된 접지된 기호로의 수렴을 증명한다.

저자들은 이 연구를 로보틱스의 기호 접지 문제를 해결하기 위한 구체적인 공학적 솔루션으로 위치시키며, LLM이 네이티브하게 새로운 접지를 획득할 수 있음을 철학적 논쟁을 넘어 실증한다. 본 연구의 의의는 자율 에이전트가 진정으로 미지의 환경에서 작동하고, 이름 붙일 수 없는 엔티티를 위한 공유된 렉시콘을 개발하며, 의미론적으로 접지된 어휘를 사용하여 인간에게 그 결과를 보고할 수 있도록 하는 데 있다. 저자들은 현재 실험이 시뮬레이션 기반이며, 단일 LLM 백엔드로 제한되어 있고, 완전 연결된 인구 토폴로지를 사용한다는 한계를 인정하며, 이를 향후 연구 과제로 제시하였다.