기술 요약: 간극을 주목하라: 인간과 LLM 생성 작업 간의 괴리

문제 정의

대규모 언어 모델(LLM)은 가상 세계에서 자율적 행동을 시뮬레이션할 수 있는 생성형 에이전트의 제작을 가능하게 했으나, 이 모델들이 인간과 동일한 인지 원리에 따라 작동하는지는 여전히 불확실하다. 현재의 성능 벤치마크(예: TaskBench, AgentGen)는 계획 및 자동화 능력에 초점을 맞추고 있지만, 근본적인 질문인 'LLM이 진정으로 인간의 목표 설정(goal-setting)을 주도하는 깊은 인지 메커니즘을 복제하는가, 아니면 단순히 표면적인 패턴을 모방하는가?'를 간과하고 있다.

인간의 자율적 목표 설정은 다음 두 가지 핵심 축에 의해 추진되는 것으로 이론화된다:

1. 가치 중심적 동기 부여(Value-Driven Motivation): 무엇이 바람직한지를 안내하는 안정적인 개인적 가치(예: 변화에 대한 개방성 vs 보수성).
2. 체화된 경험(Embodied Experience): 물리적 및 사회적 세계와의 상호작용과 축적된 경험을 통해 행동을 현실에 접지(grounding)시키는 감각운동적 제약.

저자들은 순수하게 텍스트로 학습된 현재의 LLM이 인간과 같은 체화된 목표를 생성하는 데 필요한 가치 우선순위 지정 및 감각운동적 접지 메커니즘이 결여되어 있다는 가설을 세웠다. 본 연구는 심리학적 프로필을 제공하는 것이 이러한 간극을 메울 수 있는지 확인하기 위해 인간과 LLM 간의 작업 생성 차이를 정량화하는 것을 목표로 한다.

방법론

본 연구는 인간의 작업 생성과 GPT-4o의 생성을 비교하기 위해 2가지 실험 설계 방식을 채택하였다.

실험 1: 작업 생성

• 참가자: Prolific을 통해 모집된 176명의 인간 참가자.
• 설계: 다음을 조작하는 2×2 피험자 간 요인 설계(between-subjects factorial design):
  • 환경 복잡도: 높음 (32개의 거실 아이템) vs 낮음 (높은 어포던스(affordance)를 가진 엔터테인먼트 객체를 제외한 25개 아이템).
  • 사회적 맥락: 사회적 (사람 아이콘 존재) vs 비사회적 (마네킹 존재).
• 절차: 참가자들은 제공된 아이템을 사용하여 "시간을 보내기 위한" 최소 3개의 작업을 생성하도록 요청받았으며, 여기에는 제목, 사용 객체, 설정, 목표 및 점수 산정 방식이 포함되었다.
• 심리학적 측정: 생성 전, 참가자들은 다음을 완료하였다:
  • PVQ21: 개인적 가치(변화에 대한 개방성 vs 보수성; 자기 이익 vs 자기 초월) 측정.
  • TWS 설문지: 인지 스타일(직관적 vs 체계적) 측정.
  • BFI-2: 사교성 측정.
• LLM 조건:
  • Raw 조건: GPT-4o는 작업 프롬프트만 받음.
  • Matched 조건: GPT-4o는 작업 프롬프트와 더불어 그에 대응하는 인간 참가자의 전체 심리학적 프로필(가치 및 인지 스타일)을 받음.
  • 두 LLM 실행 모두 다양성을 장려하기 위해 온도를 1.0으로 설정함.

실험 2: 작업 속성 평가

• 참가자: 75명의 독립적인 평가자.
• 자극물: 인간이 생성한 작업(575개)과 Matched GPT-4o가 생성한 작업(176개, 프로필당 1개)의 하위 집합.
• 절차: 평가자들은 다음 차원에 대해 0–10 척도로 작업을 평가하였다:
  • 창의성: 재미, 참신함.
  • 체화(Embodiment): 정신적 요구도, 신체적 요구도, 신체 부위 참여도, 전반적 난이도.
• 분석: 검사자 간 신뢰도(ICC 0.58–0.90)를 확인하였다. 통계적 비교에는 주제 분포를 위한 카이제곱 검정과 평가된 속성을 위한 맨-휘트니 U 검정을 사용하였다.

주요 결과

1. 인간의 시그니처: 가치 중심적이며 환경에 민감함

인간의 작업 생성은 심리학적 특성에 의해 체계적으로 예측되었다:

• 가치: 높은 "변화에 대한 개방성"은 더 참신하고 재미있는 작업으로 평가되는 작업과 유의미한 상관관계를 보였다. "자기 이익"은 이러한 관계를 보이지 않았다.
• 인지 스타일 × 환경: 사고 스타일과 환경 복잡도 사이의 상호작용 효과가 관찰되었다. 체계적 사고 스타일을 가진 개인은 단순한 환경에서 더 재미있는 작업을 생성한 반면, 직관적 스타일을 가진 개인은 복잡한 환경에서 번성하며 더 다양한 작업을 생성했다. 이는 인간이 환경적 요구에 따라 인지 전략을 유연하게 적응시킨다는 것을 시사한다.

2. 인간-LLM 간의 간극

심리학적 프로필을 조건으로 제공했음에도 불구하고, GPT-4o는 인간의 행동 시그니처를 복제하는 데 실패했다:

• 주제적 편향: LLM은 추상적인 "정신 및 예술적" 작업(예: 음악, 글쓰기)에 강한 편향을 보였으며, 이는 Matched GPT 출력의 74%를 차지했다. 반면, 인간은 "휴식 및 가사" 활동을 포함한 균형 잡힌 혼합을 생성했다(인간 32% 대비 LLM 약 5%).
• 사회적 결핍: 사회적 맥락에서 인간 작업의 58%는 다인용/사회적 작업이었으나, LLM은 사회적 작업을 24–29%의 빈도로만 생성했다.
• 체화의 간극: LLM 작업은 인간의 작업보다 유의미하게 정신적 요구도가 높고 신체적 요구도는 낮게 평가되었다. 이는 팔과 하체의 참여도가 적음을 나타내며, 감각운동적 접지의 결여를 반영한다.
• 창의성의 역설: 이러한 간극에도 불구하고, LLM 생성 작업은 인간 작업보다 더 참신하고 더 재미있는 것으로 평가되었다. 저자들은 이를 LL|M이 물리적 실현 가능성이나 사회적 규범에 얽매이지 않는 조합적 창의성을 발휘할 수 있기 때문이라고 설명하며, 이는 즉각적인 몰입을 최적화하는 RLHF 정렬에 의해 증폭되었을 가능성이 크다고 본다.

주요 기여

1. 인간 시그니처의 입증: 본 연구는 자율적 인간 작업 생성이 안정적인 개인적 가치(특히 변화에 대한 개방성)와 인지 스타일에 의해 체계적으로 형성된다는 행동적 증거를 제공하며, 이는 가치 중심적 목표 설정 모델을 뒷받침한다.
2. LLM의 한계 식별: 본 연구는 명시적인 심리학적 프로필을 제공하더라도 LLM이 핵심적인 인간의 시그니처를 보여주는 데 실패함을 입증한다. LLM은 가치 우선순위 지정을 위한 내부 메커니즘이 부족하며, 추상화에 치우친 주제적 편향을 보이며 물리적 및 사회적 현실로부터 단절된 출력을 생성한다.
3. "접지되지 않은 창의성"의 트레이드오프: 본 연구는 LLM이 물리적, 사회적 제약으로부터 벗어나 있기 때문에 오히려 매우 창의적이고 참신하게 느껴지는 텍스트를 생성할 수 있다는 결정적인 불일치를 강조한다.

의의 및 주장

본 논문은 가치 중심적이고 체화된 인간 인지와 통계적 패턴으로서의 LLM 사이에 핵심적인 간극이 존재한다고 결론짓는다.

• AI 연구를 위하여: 본 연구 결과는 진정으로 인간과 정렬된 자율 에이전트를 만들기 위해서는 단순히 LLM을 확장하거나 텍스트를 미세 조정하는 것 이상의 것이 필요함을 시사한다. 언어적 숙련도와 체화된 목표 생성 사이의 간극을 메우기 위해서는 내재적 동기 시스템, 세계 모델(world models), 그리고 감각운동적 접지를 통합해야 한다.
• 인지 과학을 위하여: 본 연구에서 제안된 텍스트 기반 작업 생성 패러다임은 자연스러운 맥락에서의 목표 설정을 연구하기 위한 확장 가능한 도구를 제공하며, 인간의 인지와 기계 출력 간의 새로운 비교를 가능하게 한다.

저자들은 본 연구가 단일 아키텍처(GPT-4o)와 텍스트 기반 패러다임에 집중하고 있음을 언급하며, 이러한 발견의 일반성을 테스트하기 위해 향후 연구가 더 넓은 범위의 모델과 상호작용이 가능한 3D 환경으로 확장되어야 한다고 겸허한 입장을 유지하고 있다.