(Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable

기술 요약: 인간의 감독이 AI 보조 사회과학을 신뢰 가능하게 만든다

문제 제lement (Problem Statement)
대규모 언어 모델(LLM)은 가설 생성, 명세 선택(specification selection), 결론 도출 초안 작성 등 전통적으로 숙련된 연구원의 몫이었던 과업들을 점점 더 위임받고 있다. 이는 워크플로 수준의 자동화로의 전환을 의미하지만, 본 논문은 이러한 AI 보조 과학의 신뢰성이 단순히 모델의 능력 함수에 달려 있는 것이 아니라고 주장한다. 대신, 이는 LLM의 확률적 본성과 경험적 사회과학에서 요구되는 결정론적 규율 사이의 불일치에서 발생하는 구조적 문제이다. 통제되지 않은 위임은 알려진 행동적 실패 모드—예를 들어 명세 탐색(specification searching), 동기화된 해석(motivated interpretation), 취약한 인과 관계 주장 등—를 증폭시킨다. 왜냐하면 LLM은 인간의 능력을 훨씬 초과하는 규모로 방대한 탐색 공간을 탐색하고 참조 문헌을 환각(hallucination)할 수 있기 때문이다. 핵심 문제는 모델 정렬(alignment)에만 의존하지 않고, 어떻게 인간과 기계 사이의 인지적 노동을 구조화하여 신뢰할 수 있는 출력을 보장할 것인가 하는 점이다.

방법론 (Methodology)
저자들은 행동 과학 원리에 기반하여 설계된 모듈형 멀티 에이전트 시스템인 **HLER (Human-in-the-Loop Economic Research)**를 제안하고 평가한다. 방법론은 네 가지 서로 다른 데이터셋을 대상으로 두 가지 파이프라인 구성을 비교하는 사전 지정된 $2 \times 4$ 요인 설계 실험($N=280$ 전체 연구 실행)을 포함한다:

1. UK Biobank (UKB)
2. China Health and Nutrition Survey (CHNS)
3. China Health and Retirement Longitudinal Study (CHARLS)
4. CMGPD-Liaoning (LLM의 친숙도가 낮은 청나라 시대 인구 등록부)

아키텍처적 개입 (The Architectural Intervention: HLER):
제한된 HLER 파이프라인는 세 가지 구체적인 아키텍처적 약속을 강제한다:

1. 연산자 분리 (Operator Partitioning): LLM은 추론 집약적이고 탐색적인 과업(가설 생성, 비판, 해석)에 국한된다. 데이터 구축 및 통계적 추정은 재현 가능한 산출물을 생성하는 결정론적 코드(R 스크로프트)를 통해 실행된다.
2. 의사결정 순서화 (Decision Sequencing): 하위 결과가 가시화되기 전에 세 단계의 명시적인 인간 의사결정 게이트(gate)가 개입한다: (i) 연구 질문 선택, (ii) 식별 전략 검토, (iii) 출판 결정.
3. 책임성 (Accountability): 중앙 오케스트레이터(Orchestrator)가 지속적인 RunState를 유지하여, 단계 간 일관성과 감사 추적(audit trail)을 보장한다.

베이스라인 (The Baseline):
통제되지 않은 베이스라인은 동일한 기본 언어 모델(Claude Sonnet 4.6), 동일한 에이전트 분해, 동일한 추론 에이전트 프롬프트를 사용한다. 그러나 이 모델은 인간의 게이트가 없으며, 데이터 구축과 추정을 LLM이 생성한 코드에 위임함으로써 시스템이 모든 단계를 자율적으로 통과하도록 허용한다.

이론적 모델 (Theoretical Model)
본 논문은 연구 생산을 Fréchet 분포를 따르는 과업 기반 프레임워크로 모델링한다. 이는 LLM 출력의 품질이 모델의 학습 분포와 과업 사이의 근접성에 따라 결정되는 척도 매개변수 $\theta_t$를 따르는 Fréchet 분포를 따른다고 가정한다. 이 모델은 인간의 감독(게이트)이 과업이 학습 분포에서 가장 멀리 떨어져 있을 때(낮은 $\theta_t$), 즉 "나쁜 꼬리(bad tail)"의 확률적 출력이 출판 임계값 아래로 떨어질 가능성이 높을 때 가장 큰 신뢰성 배당을 제공한다고 예측한다.

주요 결과 (Key Results)

• 실패 감소: 통제되지 않은 파이프라인은 실행의 **72%**에서 치명적인 실패를 발생시켰다. 동일한 모델과 에이전트 분해를 HLER의 아키텍처적 약속 하에 조직했을 때, 실패율은 **16%**로 급감했다 ($p < 0.001$, Fisher's exact test).
• 차원별 이득: HLER는 실행 가능성(0.37 $\to$ 0.83), 식별 신뢰성(0.31 $\to$ 0.65), 출력 일관성(0.29 $\to$ 0.78)을 유의미하게 개선했다.
• 이질성 (Heterogeneity): 신뢰성 향상은 CMGPD-Liaoning 데이터셋에서 가장 두드러졌는데(실패율 88%에서 16%로 감소), 이 데이터셋은 문헌적 보편성이 가장 낮고 데이터 관습이 가장 이질적이다. 이는 인간 게이트가 분포 외(out-of-distribution) 과업에서 가장 가치 있다는 이론적 예측과 일치한다.
• 실패 모드: 통제되지 않은 실행은 코드 기반 실행의 경우 두 그룹 모두 드물었으나(각 1회), 환각된 참조 문헌(21 대 3), 해석 불일치(18 대 3), 실행 불가능한 질문(infeasible questions)의 비율이 현저히 높았다.
• 절제 연구 (Ablation Study): CHNS 및 CHARLS에 대한 80회의 절제 연구 결과, 결정론적 계산과 인간 게이트가 신뢰성에 독립적으로 기여하며, 상호 보완적인 탐색적 증거를 보임을 시사했다. 두 기능을 모두 제거하면 실패율이 70%로 상승하여 통제되지 않은 베이스라인에 근접했다.

주요 기여 및 주장 (Key Contributions and Claims)
본 논문은 AI 보조 연구에서의 신뢰성이 단순한 모델 역량이 아니라 의사결정 아키텍처의 속성이라고 주장한다. 주요 기여는 다음과 같다:

1. "연구 하네스(Research Harness)" 개념: HLER는 자율적인 AI 과학자가 아니라, LLM이 생성한 추론을 결정론적 계산과 명시적인 인간 게이트를 통해 채널링하는 "연구 하네스"로 개념화된다. 이는 완벽한 출력을 보장하지는 않지만, 치명적인 실패를 급격히 줄이고 신뢰할 수 없는 주장이 출판 가능한 작업으로 발전하는 것을 방지한다.
2. 구조적 vs 기술적 솔루션: 연구 결과는 "모델 품질"이라는 프레임이 불완전함을 시사한다. 동일한 모델이라도 인지적 노동을 어떻게 배분하느냐에 따라 72%의 실패율 또는 16%의 실패율을 보일 수 있다. 해결책은 순수한 ML 엔지니어링이 아닌 행동 시스템 설계(순서화, 약속 장치, 게이트 배치)에 있다.
3. 아키텍처적 사전 등록 (Architectural Pre-registration): 세 가지 인간 게이트는 결과가 알려지기 전의 정보에 결정을 묶어두는 강제된 사전 등록 역할을 한다. 이는 방법론적 약속을 코드로 내재화하여, 이를 선택적 사항이 아닌 기본 설정으로 만든다.
4. 실패 봉쇄 (Failure Containment): 시스템은 신뢰성을 "잘못된 출력의 봉쇄"를 포함하는 개념으로 재정의한다. 약점(예: 실행 불가능한 질문이나 취약한 식별)을 조기에 탐지하고 인간 게이트에서 차단함으로써, 남은 출력물이 더 견고하도록 보장한다.

의의 (Significance)
본 논문은 경험 과학에서 생산적인 인간-AI 협업은 근본적으로 의사결정 설계의 문제라고 결론짓는다. 목표는 루프에서 인간을 제거하는 것이 아니라, 인간의 주의력을 오류를 줄이고, 드러내며, 봉쇄하는 데 가장 효과적인 인식론적 결정 지점에 배치하는 것이다. 이 접근 방식은 특히 데이터가 표준 LLM 학습 분포에서 벗어나는 영역에서, 신뢰할 수 있는 사회과학에 요구되는 학문적 기준을 유지하면서 AI 보조 연구를 확장할 수 있는 경로를 제시한다.