기술 요약: 참조적 의사소통에서의 LVLM을 위한 암묵적 vs. 명시적 프롬프팅 전략

문제 정의

최근 문헌은 대규모 시각-언어 모델(LVLM)이 참조적 의사소통 과업에서 인간과 유사한 협력적 행동을 보일 수 있는지에 대해 상충하는 연구 결과를 제시하고 있다. 구체적으로, 두 연구는 AI 에이전트가 "개념적 계약(conceptual pacts)"—즉, 상호작용을 통해 동적으로 발생하는 공유되고 효율적인 지칭 표현—을 발전시킬 수 있는지에 대해 서로 반대되는 결론에 도달했다.

• **Zeng 등(2026)**은 AI 에이전트가 시간이 지남에 따라 설명을 단축하지 못하고, 계속해서 장황하게 소통하며 정확도가 감소하는 것을 발견했다. 이는 공통 기반(common ground) 활용의 결여를 시사한다.
• **Jones 등(2026)**은 AI 에이전트가 지칭 표현을 성공적으로 단축하고 정확도를 높였으며, 이는 인간의 어휘적 동조(lexical entrainment)를 모방하는 모습을 보여주었다.

본 논문은 이러한 결과의 차이가 모델 아키텍처, 과업 설계, 또는 프롬프팅 전략의 차이에서 기인하는지 조사한다. 저자들은 이러한 불일치가 모델이나 과업 자체가 아니라 주로 프롬프팅 스타일(암묵적 vs. 명시적)에 의해 유도된다는 가설을 세운다.

방법론

저자들은 특정 변수를 테스트하기 위해 Zeng 등(2026)의 방식을 기반으로 조정된 오픈 소스 파이프라인을 사용하여 통제된 실험을 수행하였다.

실험 설계

• 과업: 12개의 바구니(비어휘적 객체)를 포함하는 다회차, 다중 턴 협력 객체 매칭 과업.
• 참가자: "디렉터(화자)"와 "매처(청자)" 역할을 동일한 모델 인스턴스가 수행하는 AI-AI 쌍.
• 모델: 두 가지 버전이 테스트되었다: GPT-5.2 (Zeng 등, 2026에서 사용됨) 및 GPT-5.5 (작성 시점 기준 최신 모델).
• 조건: 연구는 두 가지 프롬프팅 전략과 두 가지 모델 버전을 교차하여 테스트하였다:
  1. 암묵적 프롬프팅 (Implicit Prompting): Zeng 등(2026)을 재현함. 지침은 Grice의 격률(간결하지만 정보적일 것)과 협력적 근거 형성 규범에 의존한다. 모델에게 구절을 단축하거나 단어를 재사용하라고 명시적으로 지시하지 않으며, 모든 동조는 자발적으로 나타나야 한다.
  2. 명시적 프롬프팅 (Explicit Prompting): Jones 등(2026)을 응용함. 디렉터에게 설명 길이를 줄이고, 후반 라운드에서는 12개의 단어만 사용하며, 관습을 확립하도록(예: "진심으로—후반 라운드에는 딱 12 단어만 사용해") 명시적으로 지시한다.

기술적 개선 사항

공정한 비교를 위해, 저자들은 Zeng 등(2026)에서 사용된 시각적 컨텍스트 주입 파이프라인을 다음과 같이 수정하였다:

• 연대기적 정렬: 과거 채팅 기록과 시각적 피드백 이미지를 시작 시점에 연대순으로 쌍을 맞추어 배치한다.
• 동적 주입: 현재 라운드의 이미지 그리드는 명시적인 라운드 경계 표지자를 사용하여 동적으로 주입되며, 이를 통해 LVLM이 자신의 행동 직전의 가장 신선한 시각적 프레임을 즉시 볼 수 있도록 보장한다.
• 통합 시각 입력: 매처의 활성 상태(12개 슬롯 시퀀스)와 후보 풀(18개 바구니)을 구조화된 텍텍스트 리마인더와 함께 단일 합성 이미지로 렌더링하여, 모든 공간적 추적을 하나의 시간적으로 정렬된 시각적 표현에 근거하게 한다.

주요 결과

연구는 40회의 완전한 AI-AI 실행(200회의 라운드 단위 관찰)을 평가하였으며, 과업 정확도, 대화 길이, 턴 횟수, 지칭 표현(RE) 길이 및 어휘 중첩도를 측정하였다.

1. 과업 정확도: 모든 조건에서 높은 과업 정확도를 달ach했다. 이는 두 프롬프팅 스타일 모두 모델이 핵심 과업을 완수할 수 있게 함을 나타낸다.
2. 의사소통 효율성 (암묵적 프롬프트): 암묵적 프롬프팅 하에서 모델은 여전히 장황했다.
   • GPT-5.2는 라운드당 평균 1,250.7 단어, GPT-5.5는 평균 710.4 단어를 기록했다.
   • 라운드 전반에 걸친 감소 폭은 미미했다. 모델은 시각적 묘사를 재사용했지만, 축적된 이력을 간결함의 근거로 삼아 스스로 짧게 말하는 방식은 취하지 않았다.
3. 의사소통 효율성 (명시적 프롬프트): 명시적 프롬프팅 하에서 모델은 단어 수를 급격히 압축했다.
   • GPT-5.2는 암묵적 대응군에 비해 길이를 62.8% 줄였고, GPT-5.5는 75.6%를 줄였다.
   • GPT-5.5 (명시적): 가장 강력한 "개념적 계약" 행동을 보였다. RE 길이는 1라운드 58.8단어에서 5라운드 32.7단어로 감소했다. 어휘 중첩도는 1.00에 도달했으며, 정확도는 97.5%로 높게 유지되었다.
   • GPT-5.2 (명시적): 설명은 단축했으나, 5라운드에서 정확도가 92.5%로 떨어졌다. 이는 정확도와 간결함 사이의 트레이드오프를 시사한다.
4. 전사 분석 (Transcript Analysis): 명시적 프롬프팅은 상호작용의 형태를 변화시켰다. 모델은 압축적이고 변별력 있는 레이블(예: "rect picnic", "tall cylinder")을 도입하고 이를 안정적인 전보식 묘사로 정제했다. 반면, 암묵적 프롬프팅 모델은 일부 어휘를 재사용함에도 불구하고 전체적인 묘사 캡션과 확인 루틴을 유지했다.

주요 기여

• 상충하는 연구 결과의 화해: 본 논문은 Zeng 등(2026)과 Jones 등(2026) 사이의 차이가 모델 버전이나 과업 난이도가 아닌 프롬프팅 스타일에 기인함을 입증한다.
• 프롬프트 의존성 입증: LVLM은 명시적으로 강제될 경우 짧고 안정적인 지칭 표현을 생성할 수 있지만, 암묵적인 실용적 원칙만으로는 의사소통 효율성의 필요성을 스스로 추론하지 못한다.
• 형태와 과정의 구분: 본 연구는 LVLM이 인간의 어휘적 동조의 외적 패턴(표현의 단축)은 재현할 수 있지만, 이러한 행동이 인간의 대화에서 관찰되는 것과 동일한 근본적인 "공통 기반" 메커니즘으로부터 발생하는 것은 아님을 강조한다.

의의 및 주장

본 논문은 동조(entrainment)가 단순히 압축을 의미하는 것이 아님을 주장한다. 인간의 대화에서 단축된 표현은 조율된 관점과 공유된 개념적 계약의 증거이다. 현재의 LVLM은 과도한 프롬프팅을 통해 이러한 외적 형태를 모방하도록 유도될 수 있지만, 그 효과는 전적으로 프롬프트에 의존한다.

저자들은 이러한 행동을 인간의 것과 동일한 근본적인 인지 과정으로 돌리는 것에 대해 경고한다. 연구 결과는 LVLM이 명시적인 지시 없이는 인간 파트너에게서 보이는 협력적 효율성을 자연스럽게 발전시키지 못한다는 것을 시사한다. 이는 현재의 모델들이 의사소통 노력을 줄이기 위해 공유된 관점을 동적으로 업데이트하는 내재적 능력이 부족하며, 그러한 행동을 시뮬레이션하기 위해 명시적인 제약에 의존하고 있음을 의미한다.

한계점

저자들은 다음과 같은 몇 가지 제약을 언급하였다:

• 본 연구는 영어와 비어휘적 객체(바구니)만을 대상으로 수행되었다.
• 두 가지 특정 LVLM 버전(GPT-5.2/5.5)만을 활용하였다.
• 실험은 동일한 모델 쌍을 사용하였는데, 이는 서로 다른 모델이나 인간 쌍에 비해 더 쉽게 정렬될 수 있다.
• 본 연구는 초기 관점이 일치하지 않을 때, 모델이 명시적 지시가 아닌 파트너의 피드백을 바탕으로 실용적으로 효율성을 만들어내야 하는 시나리오를 평가하지 않았다.