기술 요약: 자동화된 인지 과학자를 통한 폐쇄 루프(Closing the Loop)를 통한 심리학 이론의 발견

문제 정의

심리학에서의 과학적 발견은 역사적으로 이론 구축이라는 창의적이고 수동적인 과정에 의해 병목 현상을 겪어왔다. 데이터 수집, 모델링, 실험 설계는 점점 더 자동화되고 있는 반면, 새로운 이론을 생성하는 것—즉, 기존 모델의 누적된 실패를 더 나은 모델로 전환하는 것—은 여전히 인간 중심적인 예술의 영역으로 남아 있다. 다른 분야(예: 화학, 재료 과학)의 기존 자동 발견 시스템은 종종 단일 단계만을 자동화하거나 정적인 데이터셋에 대해 고정된 모델 공간을 탐색한다. 인지 과학에서 도전 과제는 개념적이다. 마음의 이론은 직접 컴파일하거나 해결될 수 없으며, 불투명한 심리적 과정을 기계적으로 의미 있게 렌더링하기 위해 개방된 개념 공간을 탐색해야 한다. 본 연구가 다루는 핵심 문제는 인간 행동에 대한 발견 루프를 완전히 자율적으로 닫을 수 있는 시스템, 즉 경쟁하는 이론을 제안하고, 판별 실험을 설계하며, 데이터를 수집하고, 개선된 이론을 합성할 수 있는 능력을 갖춘 시스템의 부재이다.

방법론: AUTOCOG 시스템

저자들은 발견 루프를 닫기 위해 설계된 완전 자율 에이전트 AI 시스템인 AUTOCOG(AUTOmated COGnitive scientist)를 제시한다. 이 시스템은 LLM 에이전트에 의해 구동되는 4가지 주요 단계로 구성된 $N$번의 사이클로 반복되는 폐쇄 루프 파이프라인으로 작동한다:

1. 초기화(Initialization): 연구자는 작업 도메인, 지침, 실험 설계 공간, 모델 설계 공간, 시드 이론(seed theories) 및 선택적 메트릭을 지정한다.
2. 실험 설계(Experimental Design): LLM 에이전트는 두 개의 기존 이론이 서로 상반된 예측을 하는 실험을 제안하며, 이는 적대적 실험 설계(adversarial experimental design) 원칙을 준수한다. 두 번째 에이전트는 한 이론이 다른 이론보다 우위에 있음을 정량화하기 위한 메트릭을 제안한다. 시스템은 실제 데이터 수집 전, 판별 가능성을 보장하기 위해 순방향 시뮬레이션(forward simulation)을 통해 이러한 제안들을 검증한다.
3. 행동 데이터 수집(Behavioral Data Collection): 확정된 실험이 데이터 소스에서 실행된다. 본 연구에서는 세 가지 소스에서 데이터를 수집했다:
   • 알려진 인지 모델로부터의 시뮬레이션된 행동 (그라운드 트루스 회복용).
   • 파운데이션 모델 (인실리코(in-silico) 대역으로서).
   • 온라인(Prolific)을 통해 모집된 인간 참가자.
4. 분석 및 중재(Analysis & Arbitration): 시스템은 관찰된 데이터에 대해 기존 이론들의 생성적 행동을 사전 등록된 메트릭을 사용하여 비교한다. LLM 기반의 중재 에이전트는 발견된 내용을 해석하여, 왜 특정 이론이 실패했는지 진단하고 수정 사항을 권고한다.
5. 이론 수정(Theory Revision): 중재 결과에 따라, 별도의 LLM 에이전트가 약한 이론을 수정한다. 이는 관련 인지 모델을 재합성하거나, 프로그램 합성(executable Python code 생성)을 사용하여 처음부터 이론을 다시 생성하는 과정을 포함한다. 수정된 이론은 다시 루프에 진입한다.

핵심 설계 원칙:

• 개방형 탐색(Open-ended Search): 시스템은 고정된 후보 집합을 선택하는 것이 아니라 이론과 실험의 공간을 탐색한다.
• 생성적 비교(Generative Comparison): 이론은 관찰된 데이터에 매개변수를 맞추는 방식이 아니라, 행동을 생성하는 능력(순방향 시뮬레이션)을 바탕으로 비교되며, 이를 통해 과적합 위험을 줄인다.
• 자기 검증(Self-Verification): 모든 제안(실험, 이론, 메트릭)은 실제 데이터를 관찰하기 전에 자신의 예측에 대해 시뮬레이션을 통해 검증된다.
• 일반화 압력(Generalization Pressure): 이론은 생존하기 위해 여러 인구 집단과 과업 전반에 걸친 행동을 포착해야 하며, 이는 암묵적인 간결성(parsimony)과 통합(unification)에 대한 압력으로 작용한다.

주요 기여

1. 인지 이론을 위한 최초의 자율 폐쇄 루프 시스템: AUTOCOG는 인간의 행동으로부터 인지 이론을 자율적으로 발견하여, 실험 설계부터 이론 수정까지 연구자의 개입 없이 루프를 닫는 최초의 시스템으로 제시된다.
2. 실행 가능한 이론 표현: 시스템은 이론을 자연어 형태의 기계적 주장과 실행 가능한 Python 프로그램의 쌍으로 취급하여, 엄격한 시뮬레이션과 검증을 가능하게 한다.
3. 적대적 발견 프레임워크: 시스템은 경쟁하는 이론들을 옹호하고 이들 사이를 판별하기 위한 실험을 설계하기 위해 LLM 에이전트를 활용하며, 이는 과학적 논쟁의 적대적 성격을 모사한다.

결과

1. 알려진 의사결정 전략의 회복

그라운드 트루스 전략이 알려진 시뮬레이션 환경에서, AUTOCOG는 서로 다른 경쟁 이론들이 시드로 주어졌음에도 불구하고 해당 생성 이론들을 성공적으로 회복했다.

• 표준 전략(Canonical Strategies): 시스템은 Take-the-Best (TTB), Tallying, 그리고 Weighted-Additive (WADD)를 높은 충실도로 회복했다 (노이즈가 없는 조건에서 그라운드 트루스와 구별할 수 없는 평균 제곱 오차).
• 비표준 전략(Non-Canonical Strategies): 시스템은 비전형적인 전략들(예: "Take-the-worst", "Alternating", "Perseveration")을 5~20 사이클 내에 성공적으로 회복했으며, 이는 시스템이 LLM의 사전 지식에 엄격하게 얽매여 있지 않음을 입증한다.
• 노이즈 강건성: 성능은 행동 노이즈($\epsilon$)가 증가함에 따라 점진적으로 저하되었으며, 순수 노이즈가 제시되었을 때 무작위 선택 모델로 수렴하였다. 이는 시스템이 존재하지 않는 구조를 강제로 부여하지 않음을 나타낸다.

2. 다속성 의사결정에서의 발견 (이진 큐)

이진 값의 큐(binary-valued cue) 과업에서 인간 참가자를 대상으로 실행했을 때, AUTOCOG는 **비선형 주관적 가중치 모델(Non-linear Subjective Weighting Model)**을 도출해냈다.

• 성능: 이 도출된 이론은 문헌(Hilbig et al., 2014)의 홀드아웃 데이터셋에서 시드 이론들(TTB, Tallying, WADD)보다 유의미하게 우수한 성능을 보였다.
• 메커니즘: 이 모델은 큐의 타당도(validity)에 대한 멱법칙 변환(power-law transformation)에 의해 제어되는 지수 매개변수를 통해, 세 가지 표준 휴리스틱을 단일 메커st의 제한적 사례로 통합하였다. 이는 명시적인 매개변수 최적화나 간결성 제약 없이, 축적된 데이터 전반에 걸쳐 일반화해야 한다는 필요성에 의해 구동되었다.

3. 다속성 의사결정에서의 발견 (카디널 큐)

설계 공간을 카디널 값의 큐(정수 0~$r_{max}$)로 확장했을 때, AUTOCOG는 수익 체감형 WADD (Diminishing Returns WADD) 모델을 발견했다.

• 새로움: 이 이론은 개인이 큐 값에 가중치를 부여하기 전에 큐 값에 대해 오목한(concave) 효용 함수를 적용한다고 가정한다. 이는 특징 값에 대한 민감도가 감소함을 의미한다: 즉, 낮은 값의 영역에서의 단위 차이가 높은 값의 영역에서의 동일한 차이보다 더 큰 영향을 미친다.
• 검증: 이 시스템의 발견은 새로운 인간 참가자를 대상으로 한 사전 등록 연구에서 전향적으로 테스트되었다. 연구는 이론에서 도출된 세 가지 가설을 확인했다:
  • H1 (모델 판별): 참가자들은 선형 WADD, Tallying, 또는 TTB가 예측하는 것보다 Diminishing Returns WADD가 예측하는 옵션을 유의미하게 더 많이 선택했다.
  • H2 (가파른 구간 vs 평탄한 구간): 참가자들은 "평탄한"(높은 값) 영역에 비해 "가파른"(낮은 값) 영역에서의 이점에 대해 더 큰 민감도를 보였다.
  • H3 (레벨 이동): 동일한 객관적 큐-값 구조가 낮은 값 범위에서 제시되었을 때가 높은 값 범위로 이동되어 제시되었을 때보다 더 강력한 영향을 미쳤다.

의의 및 주장

본 논문은 AUTOCOG가 어떻게 자동화된 발견 시스템이 인지 이론 구축을 명시적이고 실행 가능하며 누적적인 과학으로 변모시킬 수 있는지를 보여준다고 주장한다.

• 창의적 단계의 자동화: 시스템은 이전에 인간만의 고유한 영역으로 여겨졌던 "이론 생성"이라는 창의적 단계를 자동화한다.
• 데이터 기반 발견: 발견된 내용(새로운 수익 체감 발견 포함)은 LLM의 사전 지식이 아니라 수집된 행동 데이터에 의해 주도되었다. 이는 시스템이 비표준 전략을 회복하고 순수 노이즈에서 구조를 찾지 못한 점을 통해 입증된다.
• 감사 가능성(Auditability): 전체 발견 궤적은 기계 판독 가능한 추적(trace)으로 기록되어, 과학적 추론의 경로를 검사할 수 있게 하며, 다른 에이전트나 연구자가 그 최전선(frontier)에서 탐색을 재개할 수 있도록 한다.
• 범위: 저자들은 시스템이 인간이 지정한 실험 및 모델 설계 공간에 의해 제한된다는 점과, 언어적 이론을 실행 가능한 코드로 번역하는 것이 여전히 과제로 남아 있다는 점을 언급한다. 그러나 그들은 인간 행동에 대한 심리학적 이론을 발견하는 것이 이제 자동화의 영역 안에 들어왔다고 주장한다.

이 연구는 인간 과학자를 대체하려는 것이 아니라, 인간의 역할을 '실행'에서 '명세(specification)'로 전환하는 것을 목표로 한다. 즉, 무엇이 좋은 이론인지 결정하고 탐색 공간을 정의하는 역할로 옮기고, 실제 반복적인 이론 생성과 테스트는 시스템이 처리하도록 하는 것이다.