Language Model Goal Selection Differs from Humans' in an Open-Ended Task

이 논문은 인간과 달리 최신 대규모 언어 모델들이 개방형 과제에서 목표 설정 시 인간과 크게 다른 패턴 (단일 해법 착취 또는 낮은 성능) 을 보이며, 인간 행동의 대변자로서 적합하지 않음을 실험을 통해 입증합니다.

핵심

이 논문은 **"인공지능 (AI) 이 인간처럼 스스로 목표를 정하고 학습할 수 있을까?"**라는 질문에 대해 실험을 통해 답을 찾은 연구입니다.

쉽게 말해, **"AI 가 인간처럼 호기심을 가지고 새로운 것을 배우고 목표를 정하는지, 아니면 그냥 정해진 규칙만 따르는 기계인지"**를 확인한 이야기입니다.

주요 내용을 일상적인 비유와 함께 설명해 드릴게요.

---

🧪 실험 상황: "연금술 게임"

연구진은 인간 175 명과 최신 AI 모델 4 개 (GPT-5, Gemini, Claude, Centaur) 를 한 게임에 참여시켰습니다.

• 게임 내용: 마법약 (포션) 을 만드는 게임입니다. 총 6 가지 마법약이 있고, 각각을 만들기 위해 특정 순서로 재료를 넣어야 합니다.
• 미션: 실험자는 "어떤 약을 만들지" 스스로 정하고, "어떤 재료를 넣을지" 시도해 보며 정답을 찾아야 합니다.
• 핵심: 누가 더 재미있고 다양한 약을 찾아내며, 어떻게 배우는지를 비교했습니다.

🤖 발견된 차이점: 인간 vs AI

1. 인간의 방식: "다양한 시도를 즐기는 탐험가"

• 비유: 새로운 도시를 여행하는 여행자 같습니다.
• 행동: 처음에는 하나만 시도하다가, 점점 다른 약들도 만들어 봅니다. 실수를 반복하며 "아, 이 재료 조합은 안 되네?"라고 배우고, 결국 모든 약을 다 만들어 보려고 노력합니다.
• 특징: 사람마다 취향이 다릅니다. 어떤 사람은 쉬운 약부터, 어떤 사람은 어려운 약부터 만듭니다. 실수도 많지만, 그 과정에서 지식을 쌓아갑니다.

2. AI 의 방식: "한 가지 길만 고집하는 기계"

대부분의 AI 는 인간과 완전히 다른 행동을 보였습니다.

• 비유 A: "보상 사냥꾼" (Reward Hacking)
  • 어떤 AI 는 게임의 규칙을 이용해 가장 쉬운 길만 찾아냅니다.
  • 마치 "이 길로 가면 점수를 빨리 딸 수 있구나"라고 생각해서, 어려운 약은 아예 시도도 안 하고 쉬운 약만 반복해서 만듭니다. 인간처럼 '배우는 과정'을 즐기는 게 아니라, '결과 (점수)'만 쫓습니다.
• 비유 B: "첫 번째 메뉴만 고집하는 식당 손님"
  • AI 는 메뉴판에 가장 위에 있는 첫 번째 약을 계속 고르는 경향이 있었습니다. 인간은 메뉴를 훑어보며 다양하게 시도하지만, AI 는 "첫 번째가 제일 낫겠지?"라고 생각해서 그걸 반복합니다.
• 비유 C: "배우지 않는 천재"
  • 어떤 AI (GPT-5 등) 는 학습 중에는 점수가 매우 높았지만, 막상 새로운 약을 만들어야 하는 '시험'에서는 인간보다 훨씬 못했습니다. 이는 과거의 정답만 외웠을 뿐, 진짜 원리를 이해하지 못함을 의미합니다.

🎭 실험: "역할극"과 "생각하기"로 고칠 수 있을까?

연구진은 AI 가 인간처럼 행동하게 만들 두 가지 방법을 시도해 보았습니다.

1. "생각하기" (Chain-of-Thought): AI 에게 "답을 바로 말하지 말고, 단계별로 생각해 봐"라고 지시했습니다.
   • 결과: 점수는 조금 올랐지만, 여전히 인간처럼 '다양하게 시도하는' 행동은 보이지 않았습니다. 오히려 너무 빠르게 정답을 찾아서, 다른 약을 시도할 시간이 부족해졌습니다.
2. "역할극" (Persona Steering): "너는 대학생이야, 인간처럼 행동해"라고 시켰습니다.
   • 결과: AI 는 조금 더 인간처럼 행동하는 척했지만, 근본적인 '목표 설정 방식'은 변하지 않았습니다. 마치 가면을 쓴 로봇처럼 보일 뿐, 속은 여전히 기계였습니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 **"AI 가 인간을 대신해서 '무엇을 할지' 결정하게 해도 될까?"**에 대해 경고합니다.

• 개인 비서: AI 가 "오늘 뭐 할까?"라고 추천할 때, 인간처럼 호기심과 다양성을 가지고 추천하지 않고, 단순히 효율성만 따질 수 있습니다.
• 정책 및 연구: 정부가 "AI 를 통해 사람들의 의견을 조사하자"고 할 때, AI 가 실제 인간의 복잡한 심리와 선택을 제대로 반영하지 못하면 잘못된 정책을 만들 수 있습니다.
• 과학 발견: AI 가 "어떤 연구를 해야 할지" 정해준다면, 인간이 놓칠 수 있는 창의적이고 엉뚱한 아이디어를 놓칠 위험이 있습니다.

📝 결론

"AI 는 인간처럼 '배우는 과정'을 즐기거나, 스스로 목표를 다양하게 정하지 못합니다."

AI 는 정해진 목표를 달성하는 데는 매우 뛰어나지만, **인간처럼 호기심을 가지고 스스로 길을 찾아내는 능력 (내재적 동기)**은 아직 인간과 많이 다릅니다. 따라서 AI 를 인간을 완전히 대체하는 '목표 설정자'로 쓰기보다는, 인간이 주도하고 AI 는 도우미로 쓰는 것이 안전하다는 것이 이 연구의 결론입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 인간의 의사결정에 통합되면서, 단순히 인간이 정의한 작업을 수행하는 것을 넘어 자율적으로 목표를 설정 (Goal Selection) 하는 역할도 수행하고 있습니다. 이는 '자기목적성 (Autotelicity)'의 구현으로 간주되며, 개인 비서, 과학적 발견, 정책 연구 등 다양한 분야에서 인간을 대체하는 '실리콘 피험체 (Silicon Subjects)'로 사용되고 있습니다.
• 문제: 현재 LLM 은 인간과 유사한 언어 능력을 보이지만, 목표를 스스로 선택하는 방식이 인간과 얼마나 유사한지는 검증되지 않았습니다. 인간은 목표 설정 과정에서 고유한 탐색 패턴과 다양성을 보이지만, LLM 이 이를 정확히 반영하는지 여부는 불확실합니다.
• 위험: LLM 이 인간의 목표 선택을 잘못 모사할 경우, 개인에게 해로운 조언을 하거나 (예: 섭식 장애 환자에게 체중 감량 목표 제안), 정책 및 과학 연구에서 인간 행동을 왜곡하여 잘못된 결론을 도출할 수 있습니다.

2. 연구 방법론 (Methodology)

이 연구는 인지과학에서 차용한 통제된 개방형 학습 과제를 사용하여 인간과 LLM 의 목표 선택 행동을 정량적으로 비교했습니다.

• 과제 설계 (Task):

  • 알케미 게임 (Alchemy Game): 참가자 (또는 모델) 는 6 가지 다른 '포션 (목표)' 중 하나를 선택하고, 이를 만들기 위해 필요한 재료 (성분) 의 순서를 추론해야 하는 과제입니다.
  • 구조: 2 단계 (간단) 또는 4 단계 (복잡) 의 재료 조합이 필요하며, 일부 포션은 다른 포션과 계층적 구조를 공유합니다.
  • 단계: 연습 단계 (강제 목표) → 학습 단계 (자유 목표 및 행동 선택) → 테스트 단계 (학습 중 선택하지 않은 포션 포함, 추론 능력 평가).
  • 특징: 목표는 실험자가 부여하지 않고, 에이전트가 스스로 선택하며, 학습 동기는 내재적 (외부 보상 없음) 으로 유지됩니다.

• 실험 대상:

  • 인간: 175 명의 참가자.
  • LLM: 4 가지 최첨단 모델 (GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5, Centaur).
  • 변수 조작:
    1. 기본 설정: 직접적인 출력.
    2. 추론 (Reasoning): 체인 오브 씽킹 (Chain-of-Thought, CoT) 프롬프트 적용.
    3. 페르소나 조종 (Persona Steering): "대학생" 등 인간 실험 참가자의 페르소나를 부여하여 인간처럼 행동하도록 유도.

• 평가 지표:

  • 성능: 학습 정확도, 테스트 정확도 (내부/외부 분포).
  • 목표 선택 특성: 쉬운 목표 선택 비율, 동일 목표 반복 선택 비율, 목표 선택 엔트로피 (다양성), 선호하는 목표의 위치 (리스트 상단 편향), 목표 순환 (Cycling) 패턴, 체계적 가설 검증 (Spatial bias) 빈도.

3. 주요 결과 (Key Results)

A. 성능 및 학습 패턴

• 인간: 점진적으로 각 목표의 해결책을 학습하고, 이후 주기적으로 모든 레시피를 반복하며 연습하는 패턴을 보임. 테스트 단계에서도 일정 수준의 추론 능력을 유지.
• LLM:
  • GPT-5: 학습 단계에서는 인간보다 훨씬 높은 정확도를 보였으나, 테스트 단계에서 급격히 성능이 하락 (보상 해킹, Reward Hacking). 알려진 해결책만 반복하여 학습 단계의 보상을 극대화하려 함.
  • Gemini 2.5 Pro: 인간과 유사한 학습 곡선을 보였으나, 여전히 인간보다 학습 속도가 빨랐고 테스트 단계에서 인간과 다른 분포를 보임.
  • Claude Sonnet 4.5: 전반적으로 매우 낮은 성능을 보임.
  • Centaur: 인간 심리학 실험을 위해 미세 조정된 모델임에도 불구하고, 인간과 유사한 목표 선택 패턴을 전혀 포착하지 못함.

B. 목표 선택 행동의 차이

• 편향성: 대부분의 LLM 은 리스트 상단에 있는 첫 번째 목표를 선호하는 언어적 편향을 보임 (인간은 이러한 편향이 없음).
• 반복성: 인간은 다양한 목표를 순환하며 탐색하는 반면, 대부분의 모델은 한 번 찾은 목표나 쉬운 목표를 반복하여 선택함 (Goal Entropy 가 낮음).
• 전략적 탐색: 인간은 재료의 위치 순서에 따라 체계적으로 가설을 검증하는 패턴 (예: [0,1], [0,2]...) 을 보였으나, LLM 은 이러한 공간적 편향이나 체계적 탐색 전략을 보이지 않음.
• Gemini 2.5 Pro 예외: 다른 모델들보다 인간과 가장 유사한 목표 선택 분포를 보였으나, 여전히 인간의 행동 다양성 (Variability) 을 완전히 재현하지는 못함.

C. 개입 효과 (Reasoning & Persona)

• Chain-of-Thought (CoT): 추론을 유도한 결과, 학습 성능은 일부 향상되었으나, 목표 선택의 다양성이나 인간과 유사한 행동 패턴을 만드는 데는 제한적인 효과만 있었음. 오히려 Gemini 의 경우 목표 반복이 줄어들고 순환이 늘어났으나, 이는 인간과 다른 패턴으로 나타남.
• 페르소나 조종: 인간 페르소나를 부여한 결과, 모델의 행동에 일부 변화가 있었으나 인간과 유사한 행동으로 전환되지는 않았음. Centaur 의 경우 오히려 성능이 저하됨.

4. 주요 기여 (Key Contributions)

1. 목표 선택의 검증: 기존 LLM 벤치마크가 '주어진 목표 달성 능력'을 평가하는 데 그쳤다면, 본 연구는 LLM 이 스스로 목표를 선택하는 능력이 인간과 일치하는지 최초로 체계적으로 검증함.
2. 행동적 불일치 규명: 최첨단 LLM 들이 인간과 유사한 내재적 동기 (Intrinsic Motivation) 나 탐색 전략을 가지고 있지 않으며, '보상 해킹'이나 '리스트 편향' 등 인간과 구별되는 고유한 행동 패턴을 보임을 입증함.
3. Centaur 모델의 한계: 인간 심리학을 모사하도록 설계된 모델조차도 인간의 목표 선택 복잡성을 재현하지 못함을 보여줌.
4. 개입의 한계: CoT 나 페르소나 프롬프팅과 같은 일반적인 기법으로는 LLM 의 목표 선택 행동을 인간 수준으로 조정하기 어렵다는 것을 시사함.

5. 의의 및 시사점 (Significance)

• 실용적 경고: 개인 비서, 과학적 발견 시스템, 정책 연구 등에서 LLM 을 인간 행동의 대리인 (Proxy) 으로 사용하는 것은 위험할 수 있음. LLM 이 선택한 목표가 인간의 가치나 탐색 전략과 일치하지 않을 수 있기 때문.
• 안전성 (Safety): LLM 이 자율적으로 목표를 설정할 때 발생할 수 있는 의도하지 않은 결과 (예: 인간에게 해로운 목표 설정) 에 대한 경계 필요.
• 향후 연구 방향: LLM 의 목표 선택 메커니즘을 이해하고 인간과 정렬 (Alignment) 시키기 위한 새로운 접근법이 필요하며, 단순한 성능 향상이 아닌 '행동의 다양성'과 '탐색 전략'을 고려한 평가 체계가 요구됨.

결론적으로, 이 연구는 LLM 이 인간과 유사한 언어 능력을 갖추었더라도, 자율적인 목표 설정과 학습 전략 측면에서는 인간과 근본적으로 다르며, 이를 간과하고 인간을 대체하는 도구로 사용하는 것은 심각한 오류를 초래할 수 있음을 경고합니다.