기술 요약: auto-psych

문제 정의

인지 과학에서의 과학적 과정은 전통적으로 이론적 추측, 실험 설계, 데이터 수집, 그리고 모델 정교화가 포함되는 반복적인 루프를 따릅니다. 최근 AI 도구들이 이 루프의 개별 단계(예: 가설 생성 또는 기존 데이터셋 분석)를 보조하고 있으나, 결정적인 병목 현상이 남아 있습니다. 그것은 바로 새로운 데이터 수집을 목표가 설정된 실험 체계 하에서 자동화하는 것입니다. 현재의 AI 기반 과학은 "Box의 루프"(정적인 데이터셋에 대한 반복적인 모델 테스트)에 의존하는 경향이 있으며, 에이전트가 인간 참여자를 대상으로 실험을 설계하고 실행할 수 있는 "실험실 내 루프(lab-in-the-loop)" 능력은 결여되어 있습니다.

본 논문은 계산 인지 과학에서 완전한 발견 루프를 자동화하는 과제를 다룹니다. 구체적으로, 본 연구는 주관적 무작위성(subjective randomness) 영역을 타겟으로 합니다. 이는 인간이 어떤 동전 던지기 시퀀스가 더 무작위해 보이는지를 판단하는 심리학적 현상입니다. 이 영역은 이산적이고 다루기 쉬운 자극 공간을 제공하며, 정형화된 확률 이론의 풍부한 역사를 가지고 있어 자동화된 이론 발견을 위한 이상적인 테스트베드가 됩니다.

방법론: auto-psych 프레임워크

저자들은 두 개의 중첩된 루프를 통해 이론 발견과 실험을 자동화하는 에이전트 기반 시스템인 auto-psych를 소개합니다. 이 시스템은 OpenCode 하네스 내에서 gemini-3..1-pro-preview를 활용하여 서로 다른 에이전트 역할(이론가, 비평가, 설계, 구현 에이전트)을 생성합니다.

1. 외곽 루프: "실험실 내 루프 (Lab-in-the-Loop)"

외곽 루프는 경쟁하는 이론들을 구별하기 위한 실험 주기를 관리합니다.

• 이론 생성: 이론가 에이전트가 새로운 인지 모델을 제안합니다. 첫 번째 반복에서는 문헌의 "시드 모델(seed models)"을 사용합니다. 이후의 반복에서는 자연어로 새로운 가설을 생성하고 이를 실행 가능한 PyMC(확률적 프로그래밍) 코드로 변환합니다.
• 실험 설계: 설계 에이전트는 100~300개의 후보 자극(동전 던지기 시퀀스 쌍)을 생성합니다. 이 자극들은 레지스트리에 있는 현재 모델들을 가장 효과적으로 구별해낼 수 있는 **기대 정보 이득(Expected Information Gain, EIG)**을 기준으로 점수가 매겨집니다.
• 데이터 수집: 구현 에이전트는 jsPsych 실험을 구축하고, 이를 Firebase에 배포하며, Prolific API를 통해 인간 참여자를 모집합니다. 시스템은 연구를 모니터링하고, 데이터를 검색하여 내부 루프로 전달합니다.

2. 내부 루프: "Box의 루프 (Box's Loop)"

내부 루프는 외곽 루프의 모델이 레지스트리에 추가되기 전, 가장 성능이 좋은 모델을 정교화합니다.

• 모델 피팅: 기존 모델들을 마르코프 체인 몬테카를로(MCMC)를 사용하여 수집된 인간 데이터에 적합시킵니다.
• 비평: CriticAL 프레임워크에서 채택된 비평가 에이전트가 **사후 예측 검증(posterior-predictive checks)**을 수행합니다. 모델의 예측과 관찰된 인간 데이터 사이의 유의미한 불일치를 식별하기 위해, 최적의 모델로부터 데이터를 시뮬레이션하고 검정 통계량을 계산합니다.
• 정교화: 이론가 에이전트는 이러한 구체적인 비평을 사용하여 새로운 모델을 제적하거나, 식별된 실패를 해결하기 위해 기존 메커니즘을 개선합니다. 이 루프는 외곽 루프의 각 반복당 두 번 실행됩니다.

주요 기여

1. 발견 루프의 완전 자동화: 본 논문은 AI 에이전트가 실험을 설계하고, 인간 참여자를 모집하며, 실제 행동 데이터를 수집하고, 실험 주기 중에 인간의 개입 없이 계산 이론을 정교화하는 최초의 완전 자동화된 반복적 심리학 루프를 제시합니다.
2. 중첩된 에이전트 구조: 본 시스템은 (모델 비평/정교화를 위한 내부 루프와 실험 설계를 위한 외곽 루프라는) 중첩된 구조가 성능에 결정적임을 입증합니다. 절제 실험(Ablation studies) 결과, 내부 루프를 제거하면 참값(ground-truth) 모델을 복구하는 능력이 크게 저하됨을 보여줍니다.
3. 확률적 프로그래밍의 통합: 본 프레임워크는 LLM과 확률적 프로그래밍 언어(PyMC)를 성공적으로 연결하여, 에이전트가 인간 인지를 확률적 과정으로 나타내는 복잡한 인지 모델을 생성, 적합, 비평할 수 있도록 합니다.

결과

시스템은 두 가지 주요 방식으로 평가되었습니다.

1. 참값 복구 (Ground-Truth Recovery)

저자들은 합성 데이터(해당 모델들에 의해 생성된 데이터)로부터 알려진 모델들(문헌 기반의 시드 모델 및 심리학적으로 타당하지 않은 규칙을 가진 "외계인" 모델)을 복구하는 auto-psych의 능력을 테스트했습니다.

• 성능: 시스템은 시드 모델들보다 더 높은 정확도(더 낮은 평균 제곱근 오차, RMSE)로 참값 모델을 일관되게 복구했습니다.
• 중첩 루프의 필요성: 절제 실험을 통해 내부 루프가 필수적임을 확인했습니다. 내부 루프가 없으면 복구 성능이 크게 떨어졌습니다.

2. 인간 데이터 실험

시스템은 인간 참여자를 대상으로 세 번의 독립적인 발견 루프 반복 실험을 수행했습니다 (각 라운드당 40명, 총 3개 라운드).

• 문헌 모델 대비 우월성: 세 번의 반복 실험 모두에서, 에이전트들은 기존 문헌(예: 베이지안 진단성, 프로토타입 유사성, 인코딩 압축성)에서 유래한 시드 모델보다 인간 데이터에 훨씬 더 잘 부합하는 모델을 발견했습니다.
• 새로운 발견: 가장 성능이 좋은 발견된 모델은 "민코프스키 전형성(Minkowski typicality)" 모델이었습니다. 이 모델은 인간이 시퀀스의 교대율(alternation rate)과 머리 비율을 정신적 프로토타입과 비교하여 무작위성을 판단하며, 이때 편차는 패널티 지수(penalty power exponent)에 의해 가중치가 부여된다고 가정합니다 (사후 평균 ~1.35로, 맨해튼 거리와 유클리드 거리 사이의 거리 척임을 시사함).
• 일반화: 발견된 모델들은 학습에 사용되지 않은 다른 반복 실험의 홀드아웃 데이터(held-out data)에서도 우수한 적합도를 유지하였으며, 이는 모델이 발견 과정 중 사용된 특정 데이터셋에 과적합되지 않았음을 나타냅니다.
• 솔루션의 다양성: 서로 다른 반복 실험들이 유사한 예측력(최적 모델 간 낮은 쌍별 RMSE)을 가진 모델로 수렴했으나, 내부 구조(예: 어떤 것은 프로토타입 비교 기반, 다른 것은 증거 축적 기반)는 다양하게 나타났습니다. 이는 고차원 공간에서 모델 발견의 비유일성을 강조합니다.

의의 및 주장

본 논문은 계산 인지 과학에서 자동화된 데이터 수집 및 이론 발견의 실현 가능성을 입증한다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 효율성: 자동화된 시스템은 가설 생성과 실험 테스트를 빠르게 반복하여 과학적 진보의 속도를 높일 수 있습니다.
• 발견 잠재력: 시스템은 기존의 인간 생성 모델보다 뛰어난 이론을 찾아낼 수 있으며, 이는 AI 에이전트가 인간 행동에 대한 새롭고 기계적인 설명을 식별할 수 있음을 시사합니다.
• 확장성: 현재 연구는 특정되고 제한된 도메인(주관적 무작위성)에 대한 개념 증명(proof-of-concept)이지만, 프레-워크는 이론을 코드로 정형화하고 온라인에서 실험을 실행할 수 있는 다른 패러다임으로 일반화될 수 있도록 설계되었습니다.

저자들은 현재 시스템이 제한된 자극 공간 내에서 작동하며, 발견된 모델이 통계적으로는 우수할지라도 인간 심리학자가 선호하는 깊은 설명적 미덕(explanatory virtues)은 여전히 부족할 수 있다는 점을 인정하며 신중한 태도를 유지합니다. 그들은 이 작업을 인간 과학자를 대체하는 것이 아니라, 더 넓은 과학적 인프라에 자동화된 발견 시스템을 통합하기 위한 출발점으로 규정합니다.