기술 요약: HumanLLM: 인간 본성에 대한 개인화된 이해와 시뮬레이션을 향하여

문제 정의

대규모 언어 모델(LLM)은 코딩, 수학, 텍ền 요약과 같은 객관적인 작업에서는 탁월한 능력을 보여주었지만, 인간의 행동과 인지를 시뮬레이션하는 데 있어서는 상당한 한계를 보입니다. 표준 LLM은 방대한 양의 맥락이 결여된 웹 코퍼스로 사전 학습되었기 때문에, 시간의 흐름에 따른 개인의 결정, 생각, 행동의 연속적이고 상황적인 맥락을 포착하지 못합니다. 결과적으로, 이러한 모델들은 복잡한 사회적 시나리오에서 동기를 예측하거나, 내적 상태를 추론하거나, 미래의 행동을 예측하는 데 어려움을 겪습니다. LLM을 인간화하려는 기존의 시도들은 통제된 심리학 실험, 경제 게임 또는 허구적 서사에서 얻은 제한된 규모의 데이터에 의존하는 경우가 많으며, 이는 실제 세상의 복잡성, 자발성 및 장기적 역동성을 충분히 반영하지 못합니다.

방법론

1. 인지 게놈 데이터셋 (The Cognitive Genome Dataset)

데이터 불일치 문제를 해결하기 위해, 저자들은 Reddit, Twitter, Blogger, Amazon 등 네 가지 다양한 플랫폼의 실제 사용자 데이터로부터 추출한 대규모 코퍼스인 **인지 게놈 데이터셋(Cognitive Genome Dataset)**을 구축했습니다. 데이터셋 구축은 엄격한 3단계 파이프라인을 따릅니다:

• 데이터 필터링: 원시 데이터는 규칙 기반 필터링(예: 봇, 짧은 게시물, 광고 제거)과 노이즈, HTML 태그 및 민감한 정보를 제거하기 위한 Llama-3.3-70B-Instruct 기반의 모델 기반 재작성을 거칩니다. 모델 기반 스코어링 시스템은 품질과 안전성을 기준으로 데이터를 추가 필터링하여 고품질의 무해한 콘텐츠만을 유지합니다.
• 데이터 합성: 레빈의 방정식($B = f(P, E)$)에서 영감을 받아, 파이프라인은 데이터를 세 가지 구성 요소로 합성합니다:
  • 사용자 ($P$): 네 단계의 사용자 프로필을 생성합니다: 사용자 페르소나(간결한 정체성), 사용자 프로필(상세한 배경), 사용자 스토리(삶의 사건에 대한 서사), 그리고 글쓰기 스타일 요약.
  • 시나리오 ($E$): 개별 기록으로부터 배경, 등장인물, 플롯의 구조화된 트리플렛(triplets)을 추출하여 상황적 맥락을 포착합니다.
  • 사회적 QA ($B$): 특정 사용자와 시나리오를 바탕으로 사용자의 행동, 내적 정신 상태, 사회적 추론(행동의 귀인)에 초점을 맞춘 질문-답변 트리플렛을 구성합니다.
• 데이터 품질 관리: Qwen-2.5-72B를 이용한 자동 평가를 통해 환각(Hallucination), 커버리지(Coverage), 간결성(Conciseness), 관련성(Relevance), 충실도(Fidelity), 참신성(Novelty), 누출(Leakage) 등의 지표로 합성된 데이터를 평가합니다. 엄격한 임계값(전체 점수 > 8, 기타 항목 > 7)을 충족하는 샘플만을 유지하여, 최종적으로 550만 개 이상의 사용자 로그가 포함된 데이터셋을 완성합니다.

2. HumanLLM 모델 학습

인지 게놈 데이터셋을 기반으로, 저자들은 인간 활동의 스펙트럼을 포괄하는 6가지 상호 보완적인 학습 과제를 정의합니다:

1. 프로필 생성: 최소한의 페르소나로부터 상세한 프로필을 추론합니다.
2. 시나리오 생성: 등장인물과 배경으로부터 완전한 사회적 이야기를 재구성합니다.
3. 사회적 질의응답(Social QA): 페르소나와 시나리오가 주어졌을 때 사용자의 행동, 생각 또는 추론을 예측합니다.
4. 글쓰기 모방: 특정 사용자의 스타일로 새로운 텍스트를 생성합니다.
5. 개인화된 댓글 작성: 새로운 포스트에 대해 맥락을 고려한 응답을 생성합니다.
6. 아이템 선택: 상호작용 이력을 바탕으로 사용자 선호도를 예측합니다.

학습 전략:
저자들은 이 데이터셋을 바탕으로 여러 오픈 소스 LLM(Qwen2.5, Qwen3, Phi-3, Llama-3.1 포함)을 미세 조정합니다. 전문화된 데이터로 미세 조정할 때 발생하는 일반적인 문제인 **파괴적 망각(catastrophic forgetting)**을 완화하기 위해, 저자들은 모델 병합(model merging) 전략을 채택합니다. 일반적인 지시어 데이터와 함께 공동 미세 조정을 수행하는 방식(이는 최적화되지 않은 일반화 성능을 보였습니다) 대신, 미세 조정된 모델과 원래의 지시어 튜닝된 베이스 모델 간의 1:1 가중치 병합을 수행합니다. 이 접근 방식은 강화된 사회적 지능과 견고한 일반적 능력을 결an 결합합니다.

주요 기여

• 인지 게놈 데이터셋: 수십만 명의 사용자와 수백만 개의 합성된 시나리오 및 사회적 QA 쌍을 포함하며, 개인화된 인간 행동 시뮬레이션을 위해 특별히 큐레이션된 최초의 대규모 다중 플랫폼 데이터셋입니다.
• HumanLLM 파운데이션 모델: 인지 게놈 데이터셋을 통해 멀티태스크 학습 프레임워크로 학습된, 개인화된 인간 본성의 이해와 시뮬레이션을 위해 설계된 새로운 파운데이션 모델입니다.
• 모델 병합 접근 방식: 일반 지능을 보존하면서 사회적 추론을 강화하는 데 있어 모델 병합이 공동 미세 조정보다 더 효과적임을 입증했습니다.
• 포괄적 평가: 도메인 내 과제, 도메인 외 사회적 지능 벤치마크, 그리고 실제 적용 시나리오에 걸친 광범ity한 검증을 수행했습니다.

실험 결과

도메인 내 성능 (In-Domain Performance)

다섯 가지 핵심 과제(아이템 선택, 프로필 생성, 시나리오 생성, 사회적 QA, 글쓰기 모방)에서 HumanLLM 변체들은 베이스 모델 및 기존 인간 행동 모델(Centaur, BE.FM)보다 일관되게 우수한 성능을 보였습니다.

• HumanLLM$_{Qwen2.5-7B}$는 가장 높은 평균 점수(27.38%)를 기록하며, 베이스 모델 대비 유의미한 개선(평균 성능 308.05% 향상)을 보여주었습니다.
• 이 모델은 사용자 선호도 예측, 생애 궤적 추론, 글쓰기 스타일 모방 측면에서 베이스 모델은 물론 특정 도메인 내 맥락에서 GPT-4o보다도 뛰어난 능력을 입증했습니다.

도메인 외(OOD) 일반화

MotiveBench(동기 추론)와 TomBench(마음 이론)를 통해 평가했을 때, HumanLLM은 향상된 일반화 능력을 보여주었습니다:

• HumanLLM$_{Qwen3}$는 테스트된 오픈 모델 중 두 벤치마크 모두에서 가장 높은 평균 점수를 달성했습니다.
• 이 모델은 서로 다른 LLM 백본 전반에 걸쳐 일관된 이득을 보여주었으며, 이는 학습 방식이 원래의 학습 분포를 넘어 사회적 추론 능력을 개선함을 나타냅니다.
• 반면, BE.FM과 같은 모델은 벤치마크 전반에서 불안정한 성능을 보였는데, 이는 경제 게임과 같이 좁은 데이터 소스에 학습되었을 때의 제한된 일반화 가능성을 시사합니다.

실제 응용 분야

세 가지 응용 시나리오에서의 정성적 및 정량적 평가는 HumanLLM의 유용성을 확인해주었습니다:

1. 프로필 생성: 베이스 모델보다 더 충실하고 현실적이며 포괄적인 사용자 프로필을 생성하였으며, 인구통계학적 환각을 피했습니다.
2. 인간 설명자 (Human Explainer): 인간의 행동에 대해 맥락적으로 더 관련성이 높고, 논리적으로 일관되며, 참조 답변과 일치하는 설명을 생성했습니다.
3. 개인화된 글쓰기: 사용자의 스타일을 성공적으로 모방하였으며, 생성된 콘텐츠에서 핵심적인 세부 사항과 추론 패턴을 재현했습니다.

의의 및 주장

본 논문은 HumanLLM이 인간 중심 AI 시스템을 향한 중요한 진전이라고 주장합니다. 단절된 텍스트 조각이나 허구적 서사가 아닌, 실제 세계의 대규모 사용자 데이터에 기반함으로써, 이 모델은 개인의 정체성, 환경, 그리고 행동 사이의 상호작용에 대한 미묘한 이해를 달성합니다.

저자들은 HumanLLM이 우수한 사회적 데이터 생성기, 인간 설명자, 그리고 사용자 시뮬레이터 역할을 한다고 주장합니다. 이러한 능력은 다음과 같은 분야에 깊은 시사점을 가집니다:

• 대규모 사회학적 시뮬레이션을 통한 사회 과학 연구의 발전.
• 개인화된 AI 동반자 및 정서적 지원 에이전트 개발.
• 현실적인 사용자 시뮬레이션을 통한 추천 시스템 강화.
• 시뮬레이션된 고객 피드백을 통한 마케팅 인텔리전스 생성.

이 연구는 다양하고 실제적인 사용자 데이터를 활용하는 것이 범용 LLM과 진정한 인간 상호작작용에 필요한 구체적이고 공감적이며 맥락을 인식하는 지능 사이의 간극을 메우는 데 필수적임을 시사합니다.