기술적 요약: 인공적 노력

문제 제기

실제 노력 (real-effort) 과제는 실험경제학의 기초적인 방법론적 도구로, 참가자에게 인지적으로 비용이 큰 활동을 수행하게 함으로써 인간의 노력, 성과, 피로 및 인센티브에 대한 반응을 측정하도록 설계되었습니다. 이러한 과제의 타당성은 종종 암묵적으로 가정되는 중요한 전제, 즉 과제를 수행하는 주체가 인간이라는 사실에 기반합니다.

대규모 언어 모델 (LLM) 의 급속한 확산과 다중 모달 추론 능력의 증가로 인해, 특히 비감독 온라인 환경 (예: 온라인 노동 시장, 웹 기반 실험) 에서 이 가정은 점점 더 불안정해지고 있습니다. 만약 LLM 이 미미한 한계 비용으로 높은 정확도로 표준적인 실제 노력 과제를 해결할 수 있다면, 이러한 과제는 더 이상 인간의 노력을 측정하는 도구로 기능하지 않을 수 있습니다. 대신, 그들은 우연히 유능한 AI 모델에 대한 접근성을 측정하게 되어 구성 타당성을 훼손하고, 수익을 위한 악의적인 '작업 밀링 (task-milling)'을 가능하게 할 수 있습니다. 기존 문헌이 설문 생성에서 AI 를 탐구해 왔지만, 경제학자들이 routinely 사용하는 구체적인 실제 노력 과제를 최첨단 LLM 이 효과적으로 해결할 수 있는지에 대한 직접적인 증거는 부족합니다.

방법론

저자들은 세 가지 주요 공급업체 (OpenAI, Google, Anthropic) 의 23 개 최첨단 LLM 이 8 가지 표준 실제 노력 과제를 해결하는 능력을 평가하는 포괄적인 벤치마크를 수행했습니다.

과제:
이 연구는 Otree 저장소에서 제공되는 8 가지 과제를 활용했으며, 지각적, 산술적, 추론적 요구 사항을 아우르는 스펙트럼을 다루었습니다:

1. 덧셈: 세 개의 정수를 합산합니다.
2. 0 세기: 15×10 이진 표에서 0 의 개수를 셉니다.
3. 문자 디코딩: 문자 - 숫자 매핑 표를 사용하여 문자열을 디코딩합니다.
4. 숫자 쌍 합산: 4×4 그리드에서 합이 10.0 이 되는 숫자 쌍을 식별합니다.
5. 시퀀스 완성: 수학적 시퀀스의 다음 요소를 예측합니다.
6. 수도: 부분적으로 채워진 6×6 그리드를 풉니다.
7. 왜곡된 텍스트: 왜곡된 이미지에서 12 자의 영문 숫자 문자열을 필사합니다.
8. 문자열 입력: 이미지에서 9 자의 특수 문자 문자열을 재현합니다.

실험 설정:

• 모델: 경량 (예: Haiku, Flash Lite, Nano) 에서 최첨단 (예: Opus, Pro, GPT-5.4) 계층에 이르는 23 개의 모델. 모든 모델은 다중 모달 입력을 지원합니다.
• 절차: 과제는 이미지와 함께 HTML 페이지로 렌더링되었습니다. 입력은 OpenRouter API 를 통해 전송되었습니다. 각 모델은 과제당 20 회 독립 실행을 수행했습니다.
• 점수 매기기: 답변은 정답과 정확히 일치하는 경우에만 정답으로 간주되었으며, 부분 점수는 부여되지 않았습니다.
• 처치: 2×2 설계가 언어적 인센티브와 페르소나 프레이밍에 대한 LLM 의 민감도를 테스트했습니다:
  • T0 (통제): 중립적 프롬프트.
  • T1: 표준 페르소나, 금전적 인센티브 없음.
  • T2: 표준 페르소나, 언어적 금전적 인센티브 (정답당 $0.50).
  • T3: 인간 페르소나, 금전적 인센티브 없음.
  • T4: 인간 페르소나, 언어적 금전적 인센티브.
• 비용 분석: 이 연구는 입력/출력 토큰 사용량과 공급업체 가격을 기반으로 과제당 총 API 비용을 계산하여, 일반적인 온라인 실험의 건당 임금 (정답당 $0.25) 과 비교했습니다.

주요 기여 및 결과

1. 과제 난이도 및 자동화 취약성

성과는 과제 유형에 따라 크게 달라집니다.

• 자동화 매우 용이: 작고 구조화된 입력과 기본 연산을 포함하는 과제 (덧셈, 숫자 쌍 합산, 문자 디코딩, 시퀀스 완성) 는 대부분의 모델이 거의 완벽한 정확도 (90–100%) 로 해결합니다.
• 저항적 과제: 복잡한 시각적 검색, 열거, 또는 조합적 추론이 필요한 과제 (수도, 0 세기, 문자열 입력) 는 여전히 도전적이며, 최상위 모델조차 정확도가 25% 에서 37% 사이입니다.
• 중간: 왜곡된 텍스트 필사는 지각적 노이즈에 의해 제한되어 순수 추론보다는 중간 (77.4%) 에 위치합니다.

2. 모델 성능 및 진화

• 계층 대 공급업체: 성능은 공급업체보다는 모델 계층 (예: Opus/Pro 대 Sonnet/Flash) 에 의해 주로 결정됩니다. 최상위 모델은 평균 정확도 80% 이상을 달성하는 반면, 중위 모델은 약 60% 를 달성합니다.
• 급속한 개선: 새로운 릴리스는 동일한 계층 내 이전 버전보다 일관되게 우수한 성과를 냅니다. 가장 큰 향상은 중위 계층에서 관찰되었으며, 이는 이러한 과제를 자동화할 수 있는 모델의 범위가 빠르게 확장되고 더 접근 가능해지고 있음을 시사합니다.
• 체리 피킹: 각 특정 과제에 대해 가장 성능이 좋은 모델을 전략적으로 선택하는 에이전트는 평균 정확도 93.1% 를 달성할 수 있으며, 단일 모델을 사용하는 것 (82.5%) 보다 훨씬 높습니다. 이는 에이전트가 최적의 도구를 선택할 지식을 가지고 있다면 '저항적'인 과제조차 높은 비율로 해결될 수 있음을 의미합니다.

3. 대체의 경제적 타당성

LLM 으로 인한 인간 노력의 대체는 경제적으로 지배적입니다.

• 비용 효율성: 테스트된 가장 비싼 모델조차 과제당 (20 회 실행) $0.40 미만의 비용이 듭니다. 더 저렴한 모델은$0.05 미만입니다.
• 순이익: 정답당 $0.25 의 보수적인 건당 임금으로, 테스트된 모든 모델은 양의 순이익을 창출합니다 (과제당 약$2.66~$3.92).
• 결론: 인간 참가자를 LLM 으로 대체하는 것은 가능할 뿐만 아니라, 이익을 추구하는 에이전트에게 매우 수익성이 높습니다.

4. 인센티브 및 페르소나에 대한 무감각성

• 효과 없음: 금전적 인센티브의 언어적 제안이나 "인간처럼 행동하라"는 지시는 LLM 성과에 통계적으로 유의미한 영향을 미치지 않았습니다.
• 메커니즘: 인간과 달리 LLM 은 한계 수익에 따라 조정할 수 있는 '노력 여력 (effort margin)'이 없습니다. 그들의 계산 과정은 아키텍처와 프롬프트에 의해 고정되며, 프롬프트의 텍스트는 기본 추론 절차를 변경하지 않습니다.
• 진단 가능성: LLM 에서 학습 효과, 피로, 또는 인센티브 반응의 부재는 잠재적인 진단 도구를 제공합니다. 반복된 시행에서 일정한 정확도 프로필과 안정적인 분산은 자동화된 수행이 아닌 인간 수행을 신호할 수 있습니다.

중요성 및 권장 사항

이 논문은 비감독 환경에서 실제 노력 과제를 사용할 때의 경계 조건을 확립합니다: 참가자가 과제를 LLM 에게 저렴하게 아웃소싱할 수 있을 때, 관찰된 성과는 더 이상 진정한 인간의 노력을 반영하지 않을 수 있습니다. 저자들은 AI 시대에 이러한 과제의 구성 타당성이 훼손되었다고 주장합니다.

이러한 발견에 기반하여 저자들은 연구자에게 세 가지 실용적인 권장 사항을 제시합니다:

1. 과제 선택: 참가자의 진정성이 우려될 때는 순수 계산적 과제 (예: 덧셈) 보다 지각적 기술이 필요한 과제 (예: 0 세기, 문자열 입력) 를 선호하십시오. 현재 LLM 은 전자보다 후자에 더 어려움을 겪기 때문입니다.
2. 인센티브 스크리닝: 참가자에게 금전적 인센티브 유무로 유사한 과제를 수행하도록 요청하여 인센티브 언어를 스크리닝 도구로 사용하십시오. 상이한 행동은 인간과 LLM 을 구별하는 데 도움이 될 수 있습니다.
3. 동적 모니터링: 세션 내 동향을 모니터링하십시오. 학습과 피로의 특징적인 인간 패턴이 부재하면 자동화된 응답을 식별하는 데 도움이 될 수 있습니다.

이 연구는 LLM 이 특히 중위 모델에서 계속 발전함에 따라 자동화에 취약한 실제 노력 과제의 범위가 확장될 가능성이 있으며, 실험경제학에서 노력이 측정되는 방식에 대한 재평가가 필요하다고 결론지었습니다.