기술 요약: 인간 성인과 LLM의 과학자로서의 모습: 능동적 탐색은 누구에게 이득이 되는가?

문제 정의

인과 학습 문헌에서 지속적으로 발견되는 결과는 성인 인간이 결합적 인과 규칙(효과가 여러 원인의 동시 존재, $A \land B$를 요구하는 경우)을 식별하는 데 어려움을 겪으며, 종종 선택적(disjunctive) 규칙(단일 원인만으로도 충분한 경우, $A \lor B$)으로 귀결되는 경향이 있다는 것입니다. 이러한 "결합적 핸디캡(conjunctive handicap)"은 전통적으로 학습자가 어떻게 증거가 생성되는지에 대한 통제권 없이 고정된 순서의 증거를 관찰하는 수동적 관찰 패러다임을 사용하여 입증되어 왔습니다.

본 논문이 다루는 핵심 질문은 성인에게 **능동적 탐색을 통한 주체성(agency)**이 부여되었을 때도 이러한 편향이 지속되는지 여부입니다. 구체적으로, 저자들은 결합적 규칙을 추론하지 못하는 문제가 인과적 역량의 고정된 한계인지, 아니면 특정 증거를 생성하고 평가하는 능력을 제한하는 수동적 증거 제시의 제약 때문인지를 조사합니다. 또한, 본 연구는 성인을 능동적 인과 발견 설정 내의 범용 추론 에이전트로서의 **대규모 언어 모델(LLM)**과 비교함으로써 인간의 수행 능력을 더 넓은 계산적 맥락 내에 위치시킵령 합니다.

방법론

실험 과제: "넥시움 디텍터(Nexiom Detector)"

저자들은 기존 문헌의 사전 지식을 최소화하기 위해 "넥시움(nexiom)"이라는 새로운 용어를 사용하는, 클래식한 "블리켓 디텍터(blicket detector)" 패러다임과 기능적으로 동일한 맞춤형 웹 기반 플랫폼인 **넥시움 텍스트 어드벤처(Nexiom Text Adventure)**를 개발했습니다.

• 설정: 참가자들은 특정 물체("넥시움")의 존재와 기저의 인과 규칙에 따라 활성화되는 기계와 상호작용합니다.
• 조건:
  1. 능동적 탐색 (Active Exploration): 참가자는 자유롭게 물체를 선택하고, 임의의 조합을 테스트하며, 인과적 물체와 규칙(결합적 vs 선택적)을 모두 추론하기 위해 언제 탐색을 멈출지 결정합니다.
  2. 수동적 관찰 (Passive Observation - Yoked Control): 참가자는 자신은 직접 개입하지 않고, 짝이 된 능동적 참여자의 행동과 테스트 결과를 관찰합니다.
  3. 수동적 제안자 (Passive Proposer): 참가자가 가설을 생성하고 개입을 제안하지만, 자신의 개입이 아닌 매칭된 능동적 참여자에 의해 생성된 결과를 받는 보충 조건입니다. 이는 이득이 계획에서 오는지, 아니면 수반되는 피드백에서 오는지 분리하기 위함입니다.

참가자 및 에이전트

• 인간: Prolific을 통해 모집된 306명의 성인 참가자(연령 22~35세). 이들은 능동적, 수동적 관찰, 또는 수동적 제안자 조건에 배정되었습니다.
• LLM: 6개의 모델이 테스트되었습니다 (gpt-5, gpt-5-mini, gemini-2.5-flash, deepseek-reasoner, o4-mini, deepseek-chat). 모델들은 인간과 동일한 액션 공간(물체를 순차적으로 추가/제거, 조합 테스트, 결과 관찰)을 부여받았습니다.
• 설계: 실험은 결합적 및 선택적 규칙 구조를 모두 활용했습니다. 인간 데이터에는 규칙 유형 및 조건당 51명의 참가자가 포함되었으며, LLM은 규칙 유형당 24회, 총 48회의 시행(trial)을 거쳤습니다.

평가 지표

• 정확도 (Accuracy): 대상 식별(인과적 물체의 정확한 일치), 규칙 추론(결합적 vs 선택적), 전체 가설 정확도(둘 다 맞음)에 대한 이진 측정값.
• 탐색 과정 (Exploration Process):
  • 누적 정보 획득량 (Cumulative Information Gain): 테스트 전반에 걸친 불확실성 감소량(bits 단위) 정량화.
  • 가설 제거 (Hypothesis Pruning): 각 테스트 후 남아 있는 일관된 가설의 수 추적.
  • 효율성 (Efficiency): 테스트 횟수, 행동 횟수, 테스트당 소요 시간.

주요 기여 및 결과

1. 능동적 탐색은 결합적 핸디캡을 극복한다

이전의 수동적 연구와 달리, 능동적 탐색은 결합적 인과 규칙에 대한 성인의 수행 능력을 실질적으로 향상시켰습니다.

• 정확도: 능동적 성인은 결합적 규칙을 추론하는 데 있어 높은 정확도를 달랐으며, 수동적 관찰자보다 유의미하게 높은 성과를 보였습니다.
• 효율성: 결합적 규칙은 여전히 선택적 규칙보다 추론하는 데 더 많은 테스트가 필요했지만(평균 테스트 횟수: 인간 평균 기준 9.6회 vs 6.4회), 능동적 성인은 상대적으로 작지만 매우 정보가 풍부한 테스트 세트를 생성했습니다.
• 시사점: 성인의 "결합적 핸디캡"은 인과적 역량의 고정된 한계가 아니라 수동적 증거 제시의 제약을 반영합니다. 능동적 성인은 어린 아이들에게서 관찰되는 것과 유사한 유연성을 보여주었습니다.

2. 수반되는 피드백의 필요성

수동적 제안자 실험은 능동적인 개입 계획만으로는 불충분하다는 것을 드러냈습니다.

• 개입을 제안했으나 타인의 테스트로부터 결과를 관찰한 참가자들은 수동적 관찰자와 마찬가지로 낮은 성능을 보였습니다 (예: 결합적 설정에서 대상 식별 정확도 0.12, 능동적 탐색가는 0.69).
• 결론: 능동적 탐색의 이점은 **자기 생성적 개입(self-generated interventions)**과 그에 따른 수반되는 결과(contingent outcomes) 사이의 긴밀한 결합에 달려 있습니다.

3. LLM 성능 vs 인간 성능

• 선택적 규칙 (Disjunctive Rules): 몇몇 최첨단 모델(예: gpt-5, deepseek-reasoner)은 상위 성과를 낸 인간의 정확도에 근접하거나 이를 능가했습니다. 선택적 환경은 에이전트가 능동적으로 정보가 풍부한 개입을 생성할 수 있다면 해결하기 더 쉬운 것으로 보입니다.
• 결합적 규칙 (Conjunctive Rules): 상당한 성능 격차가 나타났습니다. 상위 수준의 인간 탐색가들은 완벽한 정확도에 도달한 반면, 많은 LLM(더 작거나 구조화되지 않은 모델 포함)은 뚜렷한 성능 저하를 보였습니다. 강력한 추론 중심 모델들도 일반적으로 결합적 설정에서 상위 인간 성과에 뒤처졌습니다.
• 탐색 전략:
  • 인간: 상위 성과를 낸 인간은 가설 공간을 제거하기 위해 표적화된 다중 물체 개입으로 빠르게 수렴했습니다.
  • LLM: 일부 모델은 개입의 복잡성을 조정했지만, 인간만큼 효율적인 탐색 전략을 보여주지 못했으며, 결합적-선택적 간의 성능 격차를 효과적으로 완화하지 못했습니다.
  • 오류 패턴: LLM은 자주 "근접 실수(near-miss)"(단일 인과 물체를 잘못 분류하는 것)를 범한 반면, 인간의 오류는 더 이질적이었습니다.

4. 탐색 효율성 및 정보 획득

• 선택적 설정: 인간과 모델 모두 빠르게 정보를 축적했으며, 몇 번의 테스트 후에 정보의 한계 효용이 0에 가까워졌습니다.
• 결합적 설정: 더 긴 탐색 경로가 필요했습니다. 정보가 풍부한 개입은 시퀀스의 후반부까지 지속적으로 나타났습니다. 성공적인 발견은 점진적인 가설 제거 및 적응적 순차 탐색 전략과 연관되어 있었습니다.

의의 및 주장

본 논문은 성인의 인과 학습이 이전의 수동적 패러다임이 시사했던 것보다 더 적응적이고 유연하다고 주장합니다. 결합적 추론에서의 외견상 실패는 복잡한 인과 구조를 표현하는 능력의 부재 때문이 아니라, 강력한 기본 휴리스틱(선택적 규칙을 선호하는 경향)과 제약된 학습 환경 사이의 상호작용에서 비롯됩니다.

성인이 스스로 증거를 생성하고 탐색하는 "과학자"로서 행동하게 함으로써, 본 연구는 수동적 관찰이 가려버리는 형태의 인과적 역량을 드러냅니다. 이러한 결과는 개입주의적 인과 학습 관점과 일치하며, 인과적 지식은 근본적으로 행동이 세상을 어떻게 변화시키는지 이해하는 것에 관한 것임을 시사합니다.

또한, LLM과의 비교는 능동적 개입만으로는 인간과 같은 인과 발견이 불충분하다는 것을 보여줍니다. 성공적인 수행은 특히 결합적 환경에서 테스트의 질, 효율성, 그리고 정보력에 달려 있습니다. 일부 LLM은 가설 추론 정확도에서 인간과 대등할 수 있지만, 상위 인간 탐색가들의 특징인 전략적 테스트 및 증거 선택 능력은 부족한 경우가 많습니다.

연구는 아동과 성인 사이의 발달적 차이가 인과 추론 메커니즘의 근본적인 차이라기보다는, 기본 휴리스틱의 강도와 신념을 수정하려는 의지의 차이를 반영할 수 있다고 결론짓습니다. 지원적인 탐색 환경이 제공될 때, 성인의 학습은 어린 아이들의 유연성과 닮아 있습니다.