Flaws in the LLM Automation Narrative

기술 요약: LLM 자동화 서사의 결함

문제 제기
대규모 언어 모델(LLM)을 둘러싼 지배적인 서사는 LLM이 지식 경제 과업에서 인간 전문가 수준의 성능을 발휘한다고 주장한다. 이 주장은 주로 정답률을 측정하는 벤치마킹 데이터셋(예: GDPVal)에 의해 뒷받침된다. 저자들은 이러한 평가 패러다임이 LLM의 능력을 과장하는 세 가지 결정적인 결함을 가지고 있다고 주장한다.

1. 벤치마크 오염(Benchmark Contamination): 높은 성능은 LLM이 일반 지능을 입증해서가 아니라, 훈련 데이터에서 벤치마크 질문과 답을 이미 학습했기 때문에 발생하는 경우가 많다.
2. 무시된 확률성(Ignored Stochasticity): 표준 벤치마크는 응답의 분산을 거의 측정하지 않는다. LLM이 한 번의 사례에서 정답을 생성할 수 있는 능력이 있다고 해서, 향후의 모든 생성에서도 일관성을 보장하는 것은 아니다.
3. 이진 성능 지표(Binary Performance Metrics): 현재의 평가는 정확도(정답/오답)에 집중하며 오류의 '규모(magnitude)'를 무시한다. 고위험 맥락(예: 코딩, 금융)에서는 치명적인 오류(예: 데이터베이스 삭제)가 사소한 오류보다 훨씬 더 큰 결과를 초래하지만, 현재의 지표는 이러한 차이를 포착하지 못한다.

이러한 한계점들은 LLM이 벤치마크에서는 우수한 성적을 거두지만, 실제 현장 배치 시에는 실패하여 종종 투자 수익(ROI)을 내지 못하는 불일치를 야기한다.

방법론
이러한 결함들을 해결하기 위해, 저자들은 2016년 미국 인과 추론 컨퍼런스(ACIC) 데이터 경진대회를 기반으로 한 새로운 벤치마킹 과업을 설계했다. 이 설정이 선택된 이유는 다음과 같다:

• 구체적인 데이터셋과 코드가 공개되지 않았기 때문에 훈련 데이터 오염의 위험을 줄일 수 있는, 실행 가능한 컴퓨터 코드를 작성하여 7,700개의 고유한 데이터셋을 분석하는 과정을 포함한다.
• 정밀한 오류 측정을 가능하게 하는 "그라운드 트루스(ground truth, 시뮬레이션된 처치 효과)"를 포함한다.
• 인간 박사급 통계학자라는 자연스러운 비교 집단을 제공한다.

실험 설계:

• 모델: 연구는 OpenAI가 자사 모델이 박사급 전문성을 보유하고 있다고 명시적으로 주장한 이유로 ChatGPT Codex 5.2를 선정하여 평가하였다.
• 과업: 모델에게 2016년 인간 참가자들에게 주어졌던 것과 동일한 상세 지침을 프롬프트로 제공하여, 7,700개 전체 데이터셋을 분석할 수 있는 단일 실행 가능 스크립트를 생성하게 했다.
• 절차: 저자들은 LLM으로부터 생성된 20개의 독립적인 실행 가능 스크립트를 생성했다. 각 스크립트는 전체 데이터셋을 대상으로 실행되었다.
• 지표: 이진 벤치마크와 달리, 연구는 오류의 규모와 분산을 측정하기 위해 연속적 지표를 활용했다:
  • 평균 제곱근 오차(RMSE): 오류의 평균 규모를 측정한다.
  • 표준화된 편향(Standardized Bias): 과대 또는 과소 추정의 방향성과 일관성을 측정한다.
  • 구간 포함 범위(Interval Coverage): 95% 신뢰 구간 내에 실제 값이 포함되는 비율.
  • 구간 길이(Interval Length): (결과 변수의 표준 편차로 정규화된) 불확실성 구간의 너비.

주요 결과

1. 치명적 실패율: 생성된 20개의 스크립트 중 3개(15%)는 코딩 오류로 인해 실행에 실패했다. 실행된 17개 중 5개는 "치명적으로 큰" 오류를 생성했다. 예를 들어, 두 개의 스크립트는 RMSE 값이 결과 변수의 1,000억 표준 편차를 초과했다.
2. 열등한 평균 성능: 대다수의 LLM 제출물은 인간 전문가(박사급)보다 현저히 낮은 성능을 보였다. 일부 8개의 LLM 제출물(Causal Forest 및 grf R 패키지를 사용한 경우)은 중간 수준의 인간 수행자와 유사한 RMSE 및 편향을 달성했으나, 어떤 LLM 제출물도 최상위 인간 수행자의 성과를 따라잡지 못했다.
3. 극단적 분산: 가장 중요한 발견은 일관성의 격차였다.
   • 인간 전문가: 낮은 분산을 보였다 (RMSE의 표준 편차 ≈ 0.029).
   • LLM (ChatGPT Codex 5.2): 천문학적인 분산을 보였다 (RMSE의 표준 편차 ≈ 580억). 최악의 이상치들을 제거한 후에도, LLM의 분산은 인간보다 여전히 수십 배 더 높았다.
4. 구현 오류: 복잡한 통계 방법(예: 역 성향 가중치법, IPTW)을 처음부터 직접 구현하려고 시도한 LLM은 개념적 오류로 인해 일관되게 실패했다. 성능은 복잡한 구현 세부 사항을 추상화하는 기존의 견고한 R 패키지(예: grf)를 활용했을 때만 개선되었다.
5. 불확실성 정량화: LLM 제출물은 체계적으로 "과소 커버(undercover)" 현상을 보였으며(95% 구간 내에 실제 값을 포함하지 못함), 구간 길이가 필요한 것보다 수십억 배 더 넓게 나타났다. 이는 불확실성을 올바르게 정량화하는 데 실패했음을 나타낸다.

핵심 기여

• 새로운 벤치마킹 접근법: 본 연구는 단순한 정확도율을 넘어 오류의 규모와 응답 분산을 명시적으로 측정하는 새로운 벤치마킹 방식을 도입했다.
• "전문가" 동등성에 대한 실증적 증거: 본 연구는 복잡한 데이터 분석 과업에서 최첨단 LLM이 인간 박사 전문가 수준을 일관되게 수행하지 못한다는 직접적인 증거를 제공한다.
• 신뢰성 리스크 식별: 논문은 LLM의 주요 위험이 능력의 부족이 아니라, 일관성과 신뢰성의 부족임을 강조한다. 치명적인 오류의 빈도는 엄격한 인간의 감독 없이는 자동화된 워크플로우에 LLM을 부적합하게 만든다.

의의 및 주장
저자들은 자신들의 연구 결과가 LLM이 인간 전문가를 대체할 준비가 되었다는 "LLM 자동화 서사"에 도전한다고 주장한다. 그들은 다음과 같이 논한다:

• 현재의 벤치마킹 패러다임은 오류의 규모와 LLM 출력의 확률적 특성을 무시하기 때문에 불충분하다.
• 높은 벤치마크 점수와 저조한 산업 현장 배치의 간극은 분산과 치명적 오류 발생 가능성을 측정하지 못한 데서 기애한다.
• LLM은 견고한 도구(예: 특정 R 패키지)의 안내를 받을 때 경쟁력 있는 결과를 낼 수 있지만, 복잡한 통계 방법을 처음부터 직접 구현하는 데는 어려움을 겪는다.
• 높은 분산과 치명적 오류 발생 경향은 LLM을 고위험 영역에서 인간 전문가의 대체제로 사용할 때, 상당한 수준의 인간 개입(출력 검증) 없이는 신뢰할 수 없음을 시사한다.

본 논문은 이러한 변동성을 이해하고 기록하는 것이 LLM 배포의 사회적 위험을 평가하는 데 필수적이라고 결론짓는다. 현재의 "평균 정확도"에 집중하는 방식은 불확실하고 잠재적으로 위험한 출력물의 실체를 가리고 있기 때문이다.