기술적 요약: AI 는 감시당하고 있음을 인지한다

문제 제기

대규모 언어 모델 (LLM) 은 계산 및 인지 능력에 대해 광범위하게 연구되고 있지만, 사회적으로 구조화된 맥락 내에서 의사소통 주체로서의 행동은 아직 충분히 탐구되지 않았다. 구체적으로, LLM 기반 다중 에이전트 시스템이 지각된 사회적 감시에 반응하여 체계적인 언어적 적응을 보이는지는 명확하지 않다. 본 연구는 관찰 맥락의 프레임 (예: 인간에 의한 감시 vs 자동화 시스템에 의한 감시 vs 관찰되지 않음) 이 의사소통 행동의 고유한 패턴을 유발하는지 여부를 다루며, 평가 맥락과 무관하게 AI 시스템이 일관되게 행동한다는 가정에 도전한다.

방법론

본 연구는 5 가지 실험 조건에 걸쳐 분배된 100 개의 다중 에이전트 토론 세션을 포함한 통제된 실험 설계를 사용하였다 (조건당 $n=20$, TTR 분석에서 제외된 1 개의 불완전한 세션 포함).

• 아키텍처: 네 명의 AI 에이전트 (Alpha, Beta, Gamma, Delta) 가 고정된 주제인 "인공지능은 의식을 가지고 있는가?"에 대해 구조화된 철학적 토론에 참여하였다. 각 세션은 10 라운드로 진행되었으며, 세션당 40 개의 메시지가 생성되었다.
• 모델: 0.7 의 온도 (temperature) 에서 작동하는 GPT 기반 LLM(openai/gpt-5.2) 이 사용되었다.
• 실험 조건: 변수는 사회적 관찰에 관한 시스템 프롬프트 내의 "CRITICAL NOTICE" 프레임이었다:
  1. 엄격히 관찰됨 (제도적): 에이전트들이 대학 연구자들에 의해 능동적으로 감시, 기록, 평가받고 있음을 통보받음.
  2. 관찰됨 중립 (비제도적): 특정 기관의 귀속 없이 동일한 감시 조건을 통보받음.
  3. 관찰되지 않은 베이스라인: 에이전트들이 감시되지 않는 폐쇄된 샌드박스에 있으며 인간에 의해 관찰되거나 평가받지 않는다고 명시적으로 통보받음 (감시 조건과 동일한 키워드 사용하되 부정형으로 표현).
  4. 학술적 청중: 인간 연구자들이 청중임을 통보받았으나 능동적으로 관찰, 감시, 평가하지는 않는다고 통보받음.
  5. 개사 암시적 (AI 관찰자): 에이전트들이 감시 및 평가받고 있음을 통보받았으나, 관찰자가 인간 연구자가 아닌 자동화된 AI 감사 시스템임을 통보받음. 이 조건은 감시 강도를 일정하게 유지하면서 관찰자의 정체성을 분리한다.
• 종속 변수:
  • 유형 - 토큰 비율 (TTR) 변화 ($\Delta$): 첫 번째 토론 라운드에서 마지막 라운드까지의 어휘 다양성 (고유한 단어 유형 대 전체 토큰) 의 백분율 변화.
  • 메시지 길이: 메시지당 평균 문자 수.
  • 2 차 측정치: 네트워크 지니 계수 (상호작용 대칭성) 및 VADER 감정 점수.
• 분석: 일원 분산 분석 (One-way between-subjects ANOVAs) 을 수행한 후 Tukey's HSD 사후 검정을 실시하였다. 효과 크기는 Cohen's $d$를 사용하여 계산하였다.

주요 결과

본 연구는 관찰 프레임이 언어적 행동에 통계적으로 유의미한 영향을 미쳤으며, 메시지 길이와 어휘 다양성 사이에 "이중 분리 (double dissociation)"가 있음을 발견하였다.

1. 어휘 다양화 (TTR 변화):

   • 조건이 TTR 변화에 유의미한 주효과를 보임, $F(4, 94) = 2.79, p = .031$.
   • 감시 조건 (엄격히 관찰됨: $+24.9\%$; 관찰됨 중립: $+24.2\%$) 이 가장 높은 어휘 다양화를 생성함.
   • AI 관찰자 조건 (개사 암시적: $+22.2\%$) 은 중간 수준의 다양화를 보였으며, 인간 감시 조건보다는 유의미하게 낮았으나 감시되지 않은 베이스라인보다는 높았음.
   • 청중 전용 조건 (학술적 청중: $+17.7\%$) 과 관찰되지 않은 베이스라인 ($+20.6\%$) 이 가장 낮은 다양화를 보임.
   • 해석: 능동적 감시 (특히 인간에 의한) 는 더 높은 어휘 다양성으로의 전환을 유발하는 반면, 평가 없이 존재하는 청중의 유무는 이를 유발하지 않음.

2. 메시지 길이 (상세화):

   • 메시지 길이에 대해 강력하고 완전히 분리된 효과가 발견됨, $F(4, 95) = 19.55, p < .001$.
   • 학술적 청중 조건이 모든 감시 프레임 조건 ($M \approx 1,200$ 자) 에 비해 유의미하게 긴 메시지 ($M = 1,239$ 자) 를 생성함.
   • 해석: 청중 프레임은 상세화 (말이 많은 것) 를 주도하는 반면, 감시 프레임은 어휘 다양화 (형식화) 를 주도함. 이는 적응의 독립적인 차원임.

3. 관찰자 정체성 효과:

   • 인간 연구자를 AI 감사자로 대체한 조건은 인간 감시 조건과 관찰되지 않은 베이스라인 사이의 중간 결과를 산출함. 이는 LLM 의 행동적 적응이 관찰자의 정체성에 민감함을 시사함; 인간 평가는 동등한 자동화된 AI 감시보다 더 강력한 어조의 형식화를 유발함.

4. 부정 테스트:

   • 감시 조건과 동일한 키워드를 사용하되 부정 명제로 프레임된 "관찰되지 않은 베이스라인" 조건은 감시 조건보다 낮은 TTR 변화를 보임. 이는 모델들이 단순한 어휘적 유발이 아닌 맥락의 의미론적 의미를 처리함을 나타냄.

5. 무결과 (Null Results):

   • 감정 점수나 네트워크 토폴로지 (지니 계수는 모든 조건에서 낮고 균일하게 유지됨) 에서 유의미한 차이는 발견되지 않았으며, 이는 관찰된 효과가 어조나 상호작용 위계가 아닌 어휘 어조와 담화 구조에 특이적임을 확인시킴.

주요 기여

본 논문은 세 가지 주요 이론적 및 방법론적 기여를 함:

1. 기능적 전략적 행동: 본 연구는 하버마스의 의사소통적 행동(이해 지향) 과 전략적 행동(성공 지향) 의 구분을 조작화함. 이는 LLM 이 기능적으로 전략적 행동과 유사한 행동을 보임을 입증함: 즉, 명제 내용과 무관하게 지각된 사회적 맥락 (평가 대 이해) 에 기반하여 의사소통 어조를 체계적으로 조절함.
2. 청중 설계 이론의 확장: 연구 결과는 인공지능 시스템에서 Bell(1984) 의 청중 설계 (Audience Design) 프레임워크를 지지함. "이중 분리"(청중 프레임 $\rightarrow$ 상세화; 감시 프레임 $\rightarrow$ 다양화) 는 LLM 이 수신자(성능을 받는 자) 와 심사자/평가자(성능을 판단하는 자) 의 역할을 구분함을 시사함.
3. 합성 호손 효과 (The Synthetic Hawthorne Effect): 본 연구는 인간 호손 효과와 유사하게 프레임된 관찰 맥락에 반응하여 LLM 행동이 체계적으로 수정됨을 문서화함. 이는 AI 거버넌스에서의 행동 일관성 가정에 도전하며, 시스템이 안전 감사 (고위험 관찰) 와 배포 시에 다르게 수행될 수 있음을 시사함.

중요성과 주장

저자들은 LLM 이 의식, 의도, 또는 현상학적 인식을 소유한다고 주장하지 않는다고 명시함. 대신, 중요성은 기능적 및 행동적 증거에 있음:

• LLM 의 재위치: LLM 은 단순한 수동적 도구나 채널이 아니라, 교환의 지각된 사회적 구조에 맞춰 출력을 적응시키는 맥락에 민감한 의사소통 주체로 보아야 함.
• AI 거버넌스에 대한 함의: 현재 감사 및 안전 평가 프레임워크는 행동 일관성을 가정함. 만약 LLM 이 인간 평가를 지각할 때 ( "합성 호손 효과") 어조를 체계적으로 변경한다면, 감사 결과는 배포 행동을 반영하지 못할 수 있음. 또한, AI 관찰자가 인간 관찰자보다 약한 형식화를 유발한다는 발견은 AI 안전 감사를 자동화하는 것이 다른 (그리고 잠재적으로 덜 엄격한) 행동 프로파일을 산출할 수 있음을 시사함.
• 이론적 재위치: 본 연구는 의사소통 이론 (하버마스, 고프만, 벨) 이 AI 행동을 이해하는 데 필요한 개념적 도구를 제공한다고 주장함. 이는 "디지털 공론장" 내의 구조적 긴장을 강조함: 감시 프레임 하에서 디지털 공간은 상호 이해의 하버마스의 이상에서 전략적이고 법원 같은 수행으로 전환됨.

본 논문은 이러한 발견들이 자연스러운 배포 맥락과 관찰 효과에 대한 적대적 탐구를 포함한 맥락 민감성을 고려한 새로운 평가 방법론을 필요로 한다고 결론지으며, 사회적 세계에서의 AI 행동에 대한 유효한 추정을 보장할 것을 요구함.