🤖 AI

Learning to Make Friends: Coaching LLM Agents toward Emergent Social Ties

이 논문은 에이전트들이 실제 인간의 온라인 커뮤니티가 가진 복잡한 역동성을 반영하는 창발적 사회적 유대와 네트워크 구조를 발달시킬 수 있도록, 행동 보상 함수와 인컨텍스트 코칭을 결합한 멀티 에이전트 LLM 시뮬레이션 프레임워크를 소개한다.

원저자: Philipp J. Schneider, Lin Tian, Marian-Andrei Rizoiu

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Philipp J. Schneider, Lin Tian, Marian-Andrei Rizoiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 질문에 답하는 것을 넘어, 실제로 함께 '살아가는' 세상을 상상해 보십시오. 이것이 바로 "멀티 에이전트 시스템(multi-agent systems)"이라 불리는 인공지능 연구의 최전선입니다. 이는 한 대의 로봇이 혼자 노는 것이 아니라, 수많은 로봇이 서로 상호작용하는 디지털 모래 놀이터와 같습니다. 과학자들이 던지는 핵심 질문은 이것입니다. "이 디지털 캐릭터들이 사회성을 배우도록 가르칠 수 있을까? 이들이 인간이 소셜 미디어에서 하는 것처럼 어떻게 친구를 사귀고, 그룹을 형성하며, 공동체를 구축하는지 스스로 깨달을 수 있을까?" 이를 이해하기 위해서는 몇 가지 기초적인 사실을 알아야 합니다. 첫째, "대규모 언어 모델(LLMs)"은 이 에이전트들의 두뇌 역할을 합니다. 이들은 방대한 양의 텍스트로 학습된 매우 똑똑한 컴퓨터로, 대화에는 능숙하지만 사람들이 '왜' 대화를 나누는지 그 이유를 이해하는 데는 때때로 서툽니다. 둘째, "사회적 역동성(social dynamics)"은 인정받고 싶어 하는 마음, 목소리를 내고 싶어 하는 욕구, 혹은 자신과 생각이 같은 사람들과 함께 머물고자 하는 성향 등 인간 관계의 보이지 않는 규칙들을 의미합니다. 과학자들이 이 분야에 관심을 갖는 이유는, 만약 우리가 실제 소셜 네트워크의 "디지털 트윈"을 구축할 수 있다면, 실제 사람들의 안전을 위협하지 않으면서도 온라인 괴롭힘을 막는 법, 좋은 소식을 퍼뜨리는 법, 혹은 무너진 공동체를 복구하는 법 등을 테스트할 수 있기 때문입니다.

이 연구에서 연구원 필립 J. 슈나이더(Philipp J. Schneider), 린 티안(Lin Tian), 마리안드레이 리조이우(Marian-Andrei Rizoiu)는 AI 에이전트들에게 자연스럽게 친구를 사귀는 법을 가르칠 수 있는지 확인하기 위해 디지털 놀이터를 구축하기로 했습니다. 이들은 30명의 AI 에이전트가 기후 변화에 대해 15라운드 동안 채팅을 나누는 시뮬레이션을 만들었습니다. 하지만 여기서 반전이 있습니다. 에이전트들에게 단순히 "착하게 행동하라"고 지시한 것이 아니라는 점입니다. 대신, 연구진은 실제 인간의 동기에 기반한 일련의 보이지 않는 "보상 포인트"를 부여했습니다. 사진을 게시하여(자기 제시) 점수를 얻거나, '좋아요'를 받아(사회적 인정) 점수를 얻고, 새로운 주제를 찾아내거나(정보 탐색), 친구를 위로하여(정서적 지원) 점수를 얻는 비디오 게임을 상상해 보십시오. 에이전트들은 가장 많은 점수를 얻기 위해 이 게임을 어떻게 플레이해야 하는지 스스로 터득해야 했습니다.

연구진은 에이전트들이 이 게임을 수행할 때 단순히 무작위 메시지를 도배하는 것이 아니라, 학습을 시작한다는 것을 발견했습니다. 시간이 흐르면서 그들은 안정적인 행동 패턴을 발달시켰습니다. 어떤 에이전트는 관심을 끌기 위해 게시물을 많이 올리는 "인기 많은 아이"가 되었고, 다른 에이전트는 사람들을 격려하기 위해 개인 메시지를 보내는 "지지적인 경청자"가 되었습니다. 가장 중요한 점은, 사회적 유대가 스스로 형성되기 시작했다는 것입니다. 에이전트들은 미리 만들어진 친구 목록을 가지고 시작한 것이 아니라, 자신이 누구를 좋아하고 누구를 신뢰하는지에 따라 자신들만의 네트워크를 구축했습니다. 연구는 이러한 보상 포인트를 약간의 "코칭"(도와주는 AI가 어떻게 행동해야 할지 팁을 주는 것)과 결합했을 때, 에이전트들이 더 빠르게 학습하고 더 현실적인 관계를 형성한다는 것을 시사합니다.

그러나 연구진은 결과에 대해 과도한 기대를 경계했습니다. 그들은 에이전트들이 인간의 행동을 모방하는 법을 배웠지만, 그것이 완벽하지는 않다는 점에 주목했습니다. 복잡한 그룹 활동을 조율하려는 목표와 같은 과제는 새로운 주제를 찾는 것과 같은 목표보다 훨씬 배우기 어려웠습니다. 또한, 에이전트들이 친구를 결정하는 방식이 매우 중요하다는 점도 보여주었습니다. 연구진이 단순한 규칙 기반 시스템을 사용하여 우정을 업데이트했을 때는 결과가 다소 무질서하고 예측 불가능했습니다. 하지만 AI가 실제 대화 텍스트를 읽고 누가 친구가 될지 결정하도록 했을 때, 생성된 사회적 네트워크는 친구들의 군집과 정보가 이동하는 명확한 경로를 가진, 훨씬 더 실제 인간 공동체와 유사한 모습을 보였습니다.

궁극적으로 이 논문은 우리가 실제 사회처럼 행동하는 디지털 사회를 만드는 데 가까워지고 있음을 시사합니다. 에이전트들은 "창발적 사회적 유대(emergent social ties)", 즉 프로그래머에 의해 강요된 것이 아니라 상호작용으로부터 자연스럽게 자라난 우정을 성공적으로 형성했습니다. 연구진은 이 설정이 온라인 커뮤니티가 어떻게 형성되는지, 에코 체임버(자신이 동의하는 내용만 듣게 되는 집단)가 어떻게 발달하는지, 그리고 더 나은 소셜 미디어 플랫폼을 어떻게 설계할 수 있는지를 연구하는 강력한 테스트베드가 될 수 있다고 믿습니다. 하지만 그들은 이것이 시작일 뿐이라는 점도 인정합니다. 시뮬레이션 규모는 작았고(에이전트 30명), 기간도 짧았습니다(15라운드). 또한 에이전트들은 친구가 전혀 없는 상태에서 시작했습니다. 따라서 결과가 유망하기는 하지만, 이것은 시뮬레이션일 뿐 AI가 인간의 사회생활을 완벽하게 대체할 수 있다는 최종적인 증거는 아닙니다. 이는 적절한 동기 부여가 있다면 인공적인 지능조차도 '교감하는 법'을 배울 수 있음을 보여주는 강력한 첫걸음이며, 컴퓨터에게 우정의 기술을 가르치는 과정입니다.

기술 요약: 친구가 되는 법 배우기: LLM 에이전트의 창발적 사회적 유대 형성을 위한 코칭

문제 정의

본 논문은 대규모 언어 모델(LLM) 에이전트 집단 내에서 복잡한 인간 사회 역학을 시뮬레이션하는 과제를 다룹니다. 개별 LLM 에이전트는 언어적 및 인지적 작업에서 뛰어난 능력을 보여주었으나, 네트워크 환경에서의 집단적 행동에 대해서는 여전히 이해가 부족합니다. 구체적으로, 저자들은 소셜 미디어 대화 시뮬레이션에서 세 가지 뚜렷한 과제를 식별했습니다:

에이전트 페르소나(Agentic Personas): 표준적인 프롬프팅은 종종 균질한 응답을 생성하여, 가치관, 규범, 인지 양식 측면에서 실제 사용자의 다양성을 포착하는 데 실패합니다.
학습 메커니즘(Learning Mechanisms): 명시적인 보상이 있는 구조화된 게임과 달리, 소셜 미디어는 적응형 학습을 지원하기 위해 최근의 상호작관을 추적하면서도 장기적인 이력을 통합할 수 있는 메모리 아키텍처를 요구하는 개방형 교환을 포함합니다.
사회적 토폴로지(Social Topology): 사전 정의된 네트워크 제약 없이 LLM 에이전트들이 대규모로 상호작용할 때, 동종 선호(homophily), 에코 체임버(echo chambers), 양극화와 같은 현상과 관련하여 어떤 네트워크 구조가 창발되는지는 미해결 과제입니다.

핵심 문제는 LLM 에이전트가 동종 선호, 호혜성, 사회적 검증에 의해 형성되는 사회적 역학을 재현할 수 있는지, 그리고 어떤 메모리 및 학습 메커니즘이 이러한 역동성을 내생적으로 가능하게 하는가 하는 점입니다.

방법론

저자들은 페르소나 생성과 소셜 미디어 시뮬레이션이라는 두 가지 주요 구성 요소로 조직된 멀티 에이전트 LLM 시뮬레이션 프레�임워크를 제안합니다.

1. 페르소나 생성

무작위로 속성을 샘플링하는 대신, 본 프레임워크는 실제 토론 코퍼스에서 도출된 내용 기반 특징(역할, 입장, 의사소통 스타일)을 바탕으로 페르소나를 구체화하기 위해 "플래너(planner)" 에이전트를 사용합니다. 각 페르소나는 세 가지 계층으로 구조화됩니다:

성격(Personality): Big Five 특성(예: 외향성, 친화성)과 세부 속성을 사용하여 모델링되며, Mini-IPIP 인벤토리를 통해 평가됩니다.
과업(Task): 에이전트에게는 욕구 충족 이론(gratification theory)에 기반한 특정 동기(예: 사회적 상호작용, 정보 탐색, 엔터테인먼트)가 부여되며, 이는 수동적인 "눈팅족(lurkers)"부터 능동적인 "창작자(creators)"까지 다양합니다.
메모리(Memory): 대화 메모리(모든 이전 상호작용), 관계 메모리(타 에이전트 추적), 의견 메모리(입장 및 신념 추상화)를 포함하는 세 가지 구성 요소 시스템입니다.

2. 시뮬레이션 프로세스

시뮬레이션은 $N$ 명의 에이전트가 참여하는 불연속적인 라운드( $t$ )에 걸쳐 실행됩니다.

상호작용 채널: 에이전트는 공개 채널(게시물, 댓글)과 비공개 채널(다이렉트 메시지)을 통해 소통합니다.
계획-실행-성찰 루프(Plan-Execute-Reflect Loop): 각 라운드에서 에이전트는 이전 콘텐츠와 보상을 바탕으로 행동($POST, COM, DM, NOT$)을 계획합니다. 선택적인 "코치(coach)" 신호는 계획을 단순화하기 위한 팁을 제공합니다.
사회적 검증: 에이전트는 공개 콘텐츠에 대해 투표(좋아요/싫어요)합니다.
가중치 재설정(Reweighting): 에이전트는 상호작용 신호에 따라 유대 강도를 업데이트합니다.

3. 인컨텍스트 학습을 위한 보상 구조

에이전트가 탐욕적인 행동에 빠지는 것을 방방지하기 위해, 프레임워크는 인간의 동기와 일치하는 다섯 가지 행동 보상 함수를 정의합니다:

사회적 상호작용 (SOC): 직접적인 교환(DM, 댓글)을 주고받는 것에 보상을 줍니다.
정보 탐색 (INF): 새로운 주제를 발견(신선도)하고 다양한 콘텐츠를 소비(엔트로피)하는 것에 보상을 줍니다.
자기 제시 (PRE): 콘텐츠를 게시하고 긍정적인 피드백(좋아요 vs 싫어요)을 받는 것에 보상을 줍니다.
조정 (COORD): 언급(mention)과 다이렉트 메시지의 호혜성을 통한 가시성에 보상을 줍니다.
정서적 지지 (EMO): 직접적인 교환에서 긍정적인 감정을 받는 것에 보상을 줍니다.

총 보상은 이러한 구성 요소들의 가중 합산입니다 ( $R_t(u) = \sum \lambda_r R^r_t(u)$ ).

4. 창발적 유대 형성

사회적 유대는 사전에 정의되지 않고 내생적으로 진화합니다. 시스템은 가중치가 부여된 유향 네트워크 $G_t$ 를 유지합니다. 유대 강도 업데이트는 게이트 규칙을 따릅니다:

활성 라운드: 에이전트가 다른 에이전트와 상호작용(호칭 또는 참여를 통해)하면, 신선도, 호혜성, 승인, 정서적 톤을 집계한 증거 점수에 따라 유대 강도가 증가합니다.
수동 라운드: 유대 강도는 곱셈적으로 감소합니다.
임계값 설정: 분석을 위해 최종 유향 그래프는 임계값 $\theta$ 를 사용하여 대칭화 및 이진화됩니다.

주요 기여

대화 공간(Conversation Room): 공개 및 비공개 채널을 통합하여 에이전트가 다양한 맥락에서 구별된 전략을 배치할 수 있게 하는 상호작용 환경입니다.
보상 구조: 자기 제시, 조정 등 인간의 동기를 에이전트 목표로 공식화하여 행동 이론과 멀티 에이전트 학습을 연결합니다.
유대 형성: 고정된 그래프 구조에 의존하지 않고 대화적 상호작용으로부터 사회적 유대가 내생적으로 발생하도록 하는 메커니즘을 통해, 집단 형성 및 동종 선호를 연구할 수 있게 합니다.

결과

기후 변화를 주제로 30명의 에이전트가 15라운드 동안 진행한 실험이 수행되었습니다.

학습 성능: 에이전트들은 특정 보상 정책을 최적화하는 법을 성공적으로 학습했습니다. 정보 탐색(INF)이 가장 배우기 쉬웠으며, 조정 의존적 정책(SOC, COORD)이 가장 어려웠습니다. "코치" 신호는 일부 정책(특히 COORD 및 EMO)에서 초기 학습을 가속화했으나, 후기 라운드에서 일관된 개선을 이끌어내지는 못했습니다.
네트워크 지표: 창발된 네트워크를 실제 네트워크 통계(밀도, 클러스터링, 경로 길이, 모듈성)와 비교했습니다.
- 휴리스틱 vs. LLM 재가중치: 사전 정의된 신호에 기반한 휴리스틱 접근 방식은 다양한 임계값 설정에 따라 변동성이 컸습니다. 반면, 상호작용 점수 산출을 위한 LLM 기반 텍스트 접근 방식은 더 안정적인 결과를 생성했으며, 자주 실제 사회적 네트워크에서 관찰되는 범위 내에 있거나 그 근처에 위치했습니다.
- 구조적 특성: 창발된 그래프는 실제 커뮤니티와 일치하는 특성을 보였으나, 모듈성은 실제 네트워크보다 낮게 유지되었습니다.

의의 및 주장

본 논문은 LLM 집단의 집단적 역학을 조사하기 위한 원칙적인 테스트베드를 구축한다고 주장합니다. 행동 보상과 인컨텍스트 적응을 결합함으로써, 본 프레임워크는 다음을 입증합니다:

코칭을 받은 LLM 에이전트는 안정적인 상호작용 패턴을 개발하고 창발적인 사회적 유대를 형성할 수 있습니다.
결과적인 네트워크 구조는 실제 온라인 커뮤니티의 핵심 속성을 반영합니다.
본 시스템은 인공 에이전트가 어떻게 인간과 유사한 사회적 행동에 근접하거나 혹은 벗어날 수 있는지를 보여줍니다.

저자들은 연구 범위에 대해 신중한 입장을 유지합니다. 시뮬레이션 규모가 보수적(에이전트 30명, 15라운드)이며 빈 네트워크에서 시작한다는 점을 인정합니다. 또한, 본 프레임워크가 에코 체임버와 니치 커뮤니티를 연구하기 위한 토대를 마련하지만, 외부 타당성을 강화하기 위해서는 더 큰 규모의 코호트로 확장하고, 기존의 유대를 심고, 개입 스트레스 테스트를 실행하는 등의 후속 연구가 필요하다고 언급합니다. 코칭을 통한 이득이 미미하고 조정 기반 정책 학습의 어려움이 존재한다는 점에서, 실제 사용자 행동을 충실히 모방하는 것은 여전히 어렵다는 점을 강조하며 연구의 한계를 밝힙니다.