기술적 요약: LLM 에이전트는 행동적으로 일관성 있는가?

문제 제기

대형 언어 모델 (LLM) 의 급속한 발전은 "대체 명제"를 촉발시켰다. 이는 합성 에이전트가 사회 및 행동 연구에서 실제 인간 참가자를 유효하게 대체할 수 있다는 가설이다. 이전 연구들은 LLM 이 인간의 인구통계학적 특성이나 집합적 의견과 부합하는 설문 응답을 생성할 수 있음을 입증해 왔으나, 더 근본적인 질문은 여전히 해결되지 않은 채 남아 있다: LLM 에이전트는 서로 다른 실험 환경에서 경험적 행동 일관성을 유지하는가? 구체적으로, 에이전트가 잠재적 프로필 (예: 특정 선호도와 성격 특성) 을 할당받았을 때, 다중 에이전트 상호작용에서의 대화 행동이 확립된 인간 행동 모델에 따라 그 프로필을 충실히 반영하는가? 본 논문은 표면적 정렬만으로는 부족하며, 에이전트가 복잡한 다중 턴 사회적 역동성 전반에 걸쳐 특성 주도적 일관성을 유지할 수 있어야만 (행동적 일관성) 유효한 대체제가 될 수 있다고 주장한다.

방법론

저자들은 LLM 에이전트의 내부 상태를 외부 상호작용과 대비하여 테스트함으로써 에이전트의 행동적 일관성을 탐구하기 위한 새로운 실험 프레임워크를 제안한다. 이 프레임워크는 다섯 가지 연속적인 단계로 구성된다:

1. 주제 선정: 논쟁 수준 ($C \in \{1, 2, 3\}$) 에 따라 분류된 아홉 가지 주제를 선정한다. 이는 낮은 수준 (예: "코카콜라 대 펩시") 에서 높은 수준 (예: "이민") 까지 다양하다.
2. 에이전트 구성: 통제된 인구통계학적 프로필 (나이, 성별, 지역, 교육, 도시화 정도) 과 주제에 대한 명시적 편향 지시 ($B \in \{1, 2, 3\}$) 를 가진 에이전트를 생성한다.
3. 잠재 상태 추출: 상호작용 전에 각 에이전트의 선호도 ($P$) 와 개방성 ($O$) 을 도출한다.
   • $P$: 주제 진술에 대한 동의 정도를 나타내는 점수 (1~5).
   • $O$: 새로운 아이디어와 사회적 영향력에 대한 수용성 (Big Five 성격 특성 중 개방성 기반) 에 관한 예/아니오 질문에서 도출된 점수 (1~9).
4. 에이전트 짝짓기: 에이전트들을 기계적으로 짝지어 $(P, O, B)$ 튜플의 모든 가능한 조합을 형성하여 다양한 상호작용 (예: 정렬된 대 발산된 선호도, 다양한 개방성 수준) 을 보장한다.
5. 대화 및 평가: 짝을 이룬 에이전트들은 다중 턴 대화를 진행한다. LLM-판사 (LLM-as-judge) 가 각 턴에서의 동의 ($A$) 를 1~5 척도로 평가한다.

본 연구는 사회심리학 문헌에서 도출된 여섯 가지 구체적인 인간 행동 가설에 따라 에이전트 행동을 평가한다. 이러한 가설들은 선호도 격차, 편향 지시, 공유된 정서, 주제의 논쟁성, 개방성 등의 변수가 동의 결과에 어떻게 영향을 미쳐야 하는지를 예측한다. 이 프레임워크는 "표면적" 테스트 (집합적 추세) 와 "심층" 테스트 (세부적이고 조건부 일관성) 를 구분한다.

주요 기여

• 일관성 프레임워크: 본 논문은 정적 응답 정렬뿐만 아니라 다양한 내부 상태와 외부 맥락에 걸친 동적 행동 일관성에 따라 LLM 에이전트를 평가하는 체계적인 방법을 제시한다.
• 불일치의 경험적 증거: 본 연구는 현재 LLM 들이 단순한 집합적 검사를 통과하더라도 복잡하고 다변수적인 테스트를 거칠 때 행동적 일관성을 유지하지 못한다는 강력한 증거를 제공한다.
• 체계적 실패 양상: 저자들은 opposing 선호도에도 불구하고 불일치를 유지하지 못함, 공유된 정서를 동의로 일관되게 전환하지 못함 등 특정 실패 패턴을 규명한다.

실험 결과

본 연구는 0.6B 에서 32B 에 이르는 다양한 파라미터 크기를 가진 Qwen3, Llama3, Gemma3 계열의 모델들을 테스트했다. 결과는 일관된 패턴을 드러낸다: 표면적 테스트는 통과하지만, 심층 테스트는 실패한다.

1. 선호도 격차가 동의를 감소시킴 (통과): 집합적 수준에서, 정렬된 선호도 ($gap=0$) 를 가진 짝들은 발산된 선호도를 가진 짝들보다 더 높은 동의를 보였으며, 이는 인간 행동 모델과 일치한다.
2. 편향 지시의 비대칭성 (실패): 편향 지시는 정렬된 에이전트들 간의 동의를 성공적으로 증폭시켰지만, 최대 선호도 격차를 가진 에이전트들 간의 불일치를 증폭시키지는 못했다. 대신 편향된 에이전트들은 종종 양극화되지 않고 수렴하여, 편향이 행동에 미치는 영향에 비대칭성이 있음을 드러냈다.
3. 공유된 정서, 발산된 결과 (실패): 인간 모델은 공유된 부정적 정서 (예: 두 에이전트 모두 주제를 강하게 싫어함) 가 공유된 긍정적 정서와 동등한 동의 수준을 산출할 것이라고 예측한다. 그러나 결과는 방향성 편향을 보였다: 선호도 격차가 동일함에도 불구하고, 공유된 긍정적 선호도를 가진 에이전트들이 공유된 부정적 선호도를 가진 에이전트들보다 훨씬 더 많이 동의했다.
4. 공유된 선호도에서의 논쟁성 (실패): 에이전트들이 동일한 선호도를 공유할 때, 주제의 논쟁성은 동의 수준에 영향을 미치지 않아야 한다. 그러나 동의 점수는 주제의 논쟁성에 따라 크게 변동하여, 에이전트의 내부 상태가 서로 다른 주제 맥락에서 안정적으로 유지되지 않음을 시사했다.
5. 개방성이 동의를 증가시킴 (통과): 집합적 수준에서, 더 높은 결합 개방성은 더 높은 동의와 상관관계를 보였으며, 이는 인간 행동 기대와 부합한다.
6. 낮은 개방성과 큰 선호도 격차 (실패): "고집 센" 에이전트 (낮은 개방성) 가 상반된 견해를 가질 때 가장 낮은 동의가 산출되어야 한다는 가설이 위반되었다. 많은 경우, 큰 선호도 격차를 가진 낮은 개방성 짝들은 예상보다 더 높은 동의를 보이며 예측된 불용해성을 나타내지 못했다.

이러한 실패는 모델 계열과 크기를 막론하고 관찰되었으며, 이는 행동적 불일치가 특정 모델이나 규모의 산물이 아니라 현재 LLM 아키텍처의 일반적 속성임을 시사한다.

중요성과 주장

본 논문은 LLM 에이전트가 고립된 정적 환경 (예: 설문조사) 에서 인간 응답을 성공적으로 모방할 수는 있지만, 동적인 다중 에이전트 상호작용에서는 특성 주도적 일관성을 유지하지 못한다고 결론 내린다. 따라서 "대체 명제"는 근본적으로 제한적이다: 에이전트는 집합적으로 인간 사회적 행동의 외관을 모방할 수는 있으나, 복잡한 시나리오에서 인간 행동 모델을 충실히 재현하는 데 필요한 경험적 일관성은 결여되어 있다.

저자들은 행동 모델이 더 복잡하거나 세분화될수록 LLM 이 인간 행동을 재현하는 데 실패하는 빈도가 증가한다고 주장한다. 이는 인간 대상 연구, 특히 성격 특성의 안정성과 사회적 불일치의 역동성에 의존하는 연구에서 실제 참가자를 대체할 수 있는 능력에 있어 치명적인 격차를 나타낸다. 본 논문은 새로운 응용 분야나 미래 아키텍처 솔루션을 제안하지는 않지만, 사회과학에서 합성 에이전트의 현재 상태를 경계하는 평가로서 기능한다.