When Do LLMs Generate Realistic Social Networks? A Multi-Dimensional Study of Culture, Language, Scale, and Method

기술적 요약: 대규모 언어 모델이 언제 현실적인 사회 네트워크를 생성하는가?

문제 제기
대규모 언어 모델(LLM) 은 행동 시뮬레이션, 합성 사회 네트워크 생성을 포함한 인간 대상 대체제로서 점점 더 널리 활용되고 있습니다. 이전 연구들은 LLM 이 구조적으로 현실적인 그래프를 생성함을 시사하지만, 관계적 출력물이 프롬프트 설계, 문화적 프레임, 프롬프트 언어, 모델 규모에 의존하는 구체적인 양상은 여전히 명확히 규명되지 않았습니다. 기존 연구들은 이러한 변수들이 네트워크 위상과 동류성 (유사한 타인과 연결하려는 경향) 을 형성하는 과정에서 어떻게 상호작용하는지를 충분히 분리하여 분석하지 못했습니다. furthermore, 개별 수준의 출력물에서는 드러나지 않지만 집계된 네트워크 구조에서 나타날 수 있는 체계적 편향에 대한 우려로 인해, LLM 을 관계적 대리자로 사용하는 것의 타당성은 논쟁의 대상이 되고 있습니다.

방법론
본 연구는 LLM 기반 네트워크 생성을 사회학적 결합 형성 이론에서 도출된 네 가지 특정 프롬프트 아키텍처로 인덱싱된 엣지 집합에 대한 일련의 조건부 분포로 공식화합니다:

1. 순차적 (Sequential): 모델이 로스터 (명단) 에 응답하는 에고 (ego) 로 작용합니다 (소스 노드별로 분해).
2. 전역적 (Global): 모델이 전체 로스터에 동시적으로 결합을 할당하는 전지전능한 관찰자로 작용합니다 (비분해, 결합 샘플링).
3. 국소적 (Local): 모델이 선별된 이웃의 제한된 컨텍스트 내에서 작동합니다 (소스별로 분해, 제한된 컨텍스트).
4. 반복적 (Iterative): 모델이 엣지 집합에 대한 마르코프 체인을 통해 결합을 업데이트합니다 (비분해, 동적).

실험 설계는 미국 인구조사 한계치에서 표본 추출된 50 명의 인구통계학적 기반 페르소나 (성별, 연령, 인종/민족, 종교, 정치적 성향, 관심사) 로 구성된 고정된 로스터를 포함합니다. 본 연구는 세 가지 독립 실험을 통해 192 개의 검증된 방향성 네트워크를 생성합니다:

• 문화 연구: 고정된 영어 언어와 순차적 방법을 사용하여 문화적 프레임 (미국, 인도, 일본, 브라질) 을 변화시킵니다.
• 방법 연구: 네 가지 문화적 컨텍스트에서 네 가지 프롬프트 아키텍처를 변화시킵니다.
• 언어 연구: 문화를 미국으로 고정하고 네 가지 방법 전반에 걸쳐 프롬프트 언어 (영어, 스페인어, 힌디어, 일본어) 를 변화시킵니다.

모든 실험은 고정된 샘플링 온도 ($\tau = 0.8$) 와 조건당 두 개의 시드를 사용하여 세 가지 GPT-4.1 모델 변형 (나노, 미니, 풀) 을 활용합니다. 네트워크 현실성은 밀도, 군집 계수, 모듈성, 최대 연결 구성 요소 (LCC) 내 노드의 비율 등을 포함한 지표를 사용하여 에르되시/레니, 바라바시/알버트, 와츠/스트로가츠와 같은 고전적 기준선과 비교 평가됩니다. 동류성은 그룹 크기에 의해 유도된 결합과 잔여 선호도를 구분하는 기준선/근친 교배 분해 기법을 사용하여 측정됩니다.

주요 결과

• 문화적 프레임: 문화적 컨텍스트는 네트워크 구조에 측정 가능하고 비균일한 변화를 일으킵니다. 정치적 성향은 순차적, 국소적, 반복적 방법 하에서 가장 문화에 민감한 차원입니다. 최대 연결 구성 요소 (LCC) 는 문화적 프레임에 가장 민감한 위상 지표로, 문화가 엣지 수보다 글로벌 결속력에 더 큰 영향을 미친다는 것을 나타냅니다.
• 우세한 결합 형성 요인: 정치적 성향은 모든 문화와 언어에 걸쳐 네 가지 방법 중 세 가지 (순차적, 국소적, 반복적) 에서 결합 형성을 주도하며, 무작위 기준선을 일관되게 초과합니다. 그러나 전역적 (Global) 방법은 체계적인 예외로 작용하여, 연령이 우세한 동류성 차원이 됩니다. 이는 긴 컨텍스트에서의 주의력 저하로 인해 미묘한 정치적 신호보다 표면적 특징이 더 두드러지기 때문일 가능성이 높습니다.
• 모델 규모 이질성: 모델들은 상호 교환 가능하지 않습니다. 모든 연구에 걸쳐 안정적인 이질성 순위가 존재합니다: $d(\text{full}, \text{mini}) < d(\text{mini}, \text{nano}) < d(\text{full}, \text{nano})$. 가장 작은 변형 (나노) 은 단순히 더 큰 모델들의 노이즈가 많은 버전이 아니라 질적으로 다른 네트워크 구조를 생성합니다.
• 프롬프트 언어 비대칭성: 문화가 고정된 상태에서 프롬프트 언어를 변화시키면 종교 동류성이 크게 이동합니다 (특히 힌디어 프롬프트 하에서 비율이 1.74 에 정점에 도달). 반면 정치적 동류성은 네 가지 언어 전반에 걸쳐 놀라울 정도로 불변으로 유지됩니다. 이는 언어가 훈련 데이터의 공발생 패턴에 기반하여 특정 인구통계학적 축을 위한 소프트 선택기로 작용함을 시사합니다.
• 구조적 현실성 대 편향: LLM 생성 네트워크는 군집 (실제 네트워크 대비 0.61 대 0.45) 과 모듈성 (0.50 대 0.38) 측면에서 고전적 기준선보다 실제 사회 그래프와 더 잘 부합합니다. 그러나 그들은 경험적으로 관찰된 수준을 초과하는 인구통계학적 편향 (특히 근친 교배 동류성) 을 인코딩합니다.

의의 및 주장
본 논문은 LLM 기반 사회 시뮬레이션의 외관상 중립성은 환상이라고 주장합니다. 종종 구현 세부사항으로 취급되는 프롬프트 설계 선택은 실질적인 사회학적 가정을 인코딩합니다.

• 프롬프트 아키텍처를 사회학적 변수로: 생성 방법의 선택 (예: 순차적 대 전역적) 은 결합 형성을 주도하는 인구통계학적 차원을 근본적으로 변화시킵니다.
• 언어 민감성: 프롬프트 언어는 중립적인 통로가 아닙니다. 이는 특정 동류성 차원 (힌디어 하의 종교와 같은) 을 선택적으로 증폭시키는 반면, 다른 차원 (정치와 같은) 은 불변으로 유지합니다.
• 모델 규모의 함의: 비용상의 이유로 더 큰 모델을 대신하여 더 작은 모델을 사용하는 것은 동일한 네트워크의 '노이즈가 많은' 버전을 산출하는 것이 아니라 구조적으로 구별되는 네트워크를 산출하므로, 규모 확장만으로는 인구통계학적 왜곡이 해결된다는 가정에 도전합니다.
• 방법론적 권장사항: 저자들은 구조적 진단 (군집, 모듈성, 동류성 분해) 과 프롬프트 아키텍처 및 언어 전반에 대한 민감도 분석이 LLM 기반 시뮬레이션을 위한 표준 보고 요건이어야 한다고 주장합니다. 이러한 변수들을 고정된 기본값으로 취급하는 것은 검토되지 않은 인구통계학적 사전 지식을 내재화할 위험이 있으며, 특히 LLM 생성 네트워크가 하위 모델의 훈련 또는 평가 데이터로 점점 더 많이 사용됨에 따라 합성 편향의 피드백 루프를 생성할 수 있습니다.