기술 요약: GAIA에 미치는 스캐폴드(Scaffold) 효과

문제 정의

발표된 에이전트 능력 점수는 모델의 내재적 능력과 그 성능을 가능하게 하는 "스캐폴드"(에이전트 루프, 도구 오케스트레이션, 프롬프트 전략)를 혼동하는 경우가 많다. 비록 문헌(예: METR의 타임 호라이즌 프레임워크)에서 "인출 격차(elicitation gap)"—모델이 할 수 있는 것과 스캐폴드가 모델로 하여데 할 수 있게 하는 것 사이의 차이—가 인정되고 있으나, 최첨단 모델 라인업 전반에 걸쳐 통제된 조건 하에서 그 크기가 엄밀하게 규명된 적은 없다. 본 연구는 스캐폴드 선택이 측정된 정확도를 얼마나 변화시키는지, 이러한 민감도가 모델의 능력에 따라 확장되는지, 그리고 작업 난이도와 어떻게 상호작용하는지를 결정하기 위한 통제된 비교의 부재를 다룬다.

방법론

본 연구는 멀티모달리티, 웹 브라우징, 파일 읽기 및 다단계 추론을 요구하는 GAIA 벤치마크(검증 레벨 1 및 2)를 사용하여 사전 등록된 통제 비교를 수행한다.

• 실험 설계: 5개의 모델에 대해 3개의 스캐폴드를 테스트하는 $3 \times 5$ 요인 설계를 실행한다.
  • 스캐폴드:
    1. S1 (ReAct): 표준적인 단일 에이전트 교대 추론-행동(reason-act) 루프 (베이스라인).
    2. S2 (Planner-Actor-Rater / PAR): 플래너가 작업을 분해하고, 액터가 도구를 실행하며, 레이터가 진행 상황을 검토하는 멀티 에이전트 설계.
    3. S3 (Planner-then-Executor): 모델이 도구 없이 서면 계획을 먼저 생성한 후, 별도의 실행 단계로 이어지는 2단계 접근 방식.
  • 모델: 세 가지 제공업체의 5개 모델:
    • Anthropic: Claude Opus 4.7, Sonnet 4.6, Haiku 4.5.
    • Google: Gemini 3.1 Pro Preview.
    • OpenAI: GPT-5.5.
  • 조건: 작업과 조건은 고정되었다. 각 질문당 3번의 시도를 수행하였다.
• 구현: 평가는 Inspect AI를 사용하여 수행되었다. Google 제공업체의 네이티브 검색 및 함수 도구의 동시 사용을 활성화하기 위해 로컬 패치가 적용되었다.
• 분석: 본 연구는 셀별 부트스트랩 신뢰 구간(95%), 모델-스캐폴드 상호작용을 테스트하기 위한 혼합 효과 로지스틱 회귀, 그리고 정답당 비용(cost-per-correct) 분석을 채택한다. 세 가지 데이터 슬라이스가 분석되었다:
  1. Primary (기본): 모든 시도 단위 (오류는 오답으로 계산).
  2. Robust (강건): Anthropic 모델에 영향을 미친 제공업체 측 직렬화 버그로 인해 플래그가 지정된 단위를 제외함.
  3. Intersection (교집합): 모든 (모델, 스캐폴드) 셀에서 최소 하나 이상의 깨끗한 완료(clean completion)가 있는 샘플 ID만 유지함.

주요 기여

1. 격리된 스캐폴드 효과: 모델과 작업을 고정한 상태에서 GAIA 정확도에 미치는 스캐폴드 선택의 영향을 격리하여 비교함으로써 스캐폴드 효과를 고립시켰다.
2. 인출 영향의 정량화: 점 추정치를 넘어 신뢰 구간과 상호작용 효과를 포함하여 인출 격차의 규모를 통계적으로 입증하였다.
3. 재현성: 코드, 구성 파일, 시도별 로그 및 사전 등록된 샘플 ID 스냅샷을 공개한다.

결과

1. 스캐폴드 격차의 규모 (H1 지지됨)

스캐폴드 선택만으로 단일 모델(Opus, Level 2, robust slice) 내에서 측정된 정확도를 최대 28 퍼센트 포인트까지 변화시킨다. 스캐폴드 변동이 적어도 한 모델에서 10포인트 이상의 격차를 발생시킨다는 사전 등록된 가설은, 모든 슬라이스에서의 Haiku와 robust slice 하의 Opus/Sonnet(Level 의 경우)에 대해 지지된다.

2. 스캐폴드 민감도와 모델 능력 (H2 방향성 측면에서 기각됨)

더 유능한 모델일수록 스캐폴드 민감도가 낮을 것이라는 가설은 기각되었다.

• 통계적 발견: 혼합 효과 모델은 스캐폴드 효과가 모델에 따라 유의미하게 달라짐을 확인했다 ($p < 0.0001$).
• 방향성 발견: 예측과 달리, 가장 유능한 Anthropic 모델(Opus)은 더 어려운 레벨(Level 2)에서 구조화된 스캐폴드(S2/S3)로부터 가장 많은 이득을 얻었으며, 가장 큰 격차(0.28)를 보였다. "티어 스케일링(tier-scaling)" 주장(모델이 개선됨에 따라 격차가 줄어든다는 내용)은 robust slice 하의 Level 1에서는 유효했으나 Level 2에서는 실패했다.

3. 멀티 에이전트의 이점 (H3 조건부 지지됨)

멀티 에이전트 스캐폴드(S2)가 Level 1이 아닌 Level 2에서 ReAct(S1)보다 우수할 것이라는 가설은 조건부로 지지되었다.

• 패밀리 vs 티어: 이 이점은 Anthropic 제품군(Haiku, Sonnet, Opus)의 Level 2에서 통계적으로 유의미한 개선과 함께 관찰되었다.
• 교차 제공업체: 이 이점은 교차 제공업체 모델(Gemini, GPT-5.5)에서는 관찰되지 않았으며, 격차가 0과 구별되지 않았다. 이는 모델의 능력 티어가 아닌 모델 패밀리가 조건 변수임을 시사한다.

4. Planner-Executor의 파일 작업 성능 (H4 기각됨)

Planner-then-Executor(S3)가 파일 읽기 작업에서 더 우수할 것이라는 가설은 기각되었다.

• 단 하나의 셀(Opus, Level 1)만이 primary slice 하에서 지원하는 차이-차이(difference-of-differences)를 보였으나, 이는 robust slice 하에서 사라졌다.
• 이 결과는 "바닥(floor)" 효과(Haiku의 열악한 문서 처리 능력)와 "천장(ceiling)" 효과(반응적으로 파일 작업을 100% 해결하는 Gemini/GPT-5)에 의해 제한된다.

5. 행동 양식 및 비용

• 효율성: 구조화된 스캐폴드(S2, S3)는 ReAct(S1)보다 훨씬 적은 도구 호출을 수행하고 더 적은 토큰을 생성한다.
• 복구: Level 2에서 구조화된 스캐폴드는 호출 횟수가 더 적음에도 불구하고 React보다 궤적 중간의 오류로부터 더 자주 복구된다.
• 비용: Gemini와 S3 조합은 두 레벨 모두에서 가장 저렴한 셀이며 Level 2에서 가장 정확하다. Anthropic 제품군은 Level 2에서 더 넓은 정답당 비용 분산을 보여, 스캐폴드 선택이 이 모델들에 대한 중요한 예산 결정임을 나타낸다.

의의 및 주장

본 논문은 단일 스캐폴드 기반의 능력 수치는 모델의 고유 속성이 아니라 스캐폴드에 조건적인 추정치라고 결론짓는다.

• 인출 격차는 크고 지속적이다: 통제된 조건 하에서 격차는 측정 가능하며, 모델이 개선됨에 따라 반드시 줄어드는 것도 아니다. 오히려 유능한 모델의 어려운 작업에서는 격차가 커질 수 있다.
• 비교 가능성 문제: 서로 다른 스캐폴드 하에서 평가된 두 모델을 비교하는 것은 에이전트 루프의 적합성에 의해 차이가 발생할 수 있으므로, 모델 비교로서 "해석이 불가능에 가깝다".
• 조달 측면의 시사점: 고정된 예산을 가진 평가자에게 있어, 부적절한 스캐폴드를 선택하는 것은 측정된 능력당 더 많은 비용을 지불하면서 실제보다 낮은 능력을 측정하는 결과를 초래한다.
• 방법론적 전환: 본 연구는 능력 평가는 모델, 스캐폴드, 작업 난이도 간의 상호작용을 고려하기 위해 단일 스캐폴드 점 추정치를 넘어 이동해야 한다고 주장한다.

저자들은 멀티 에이전트의 이점이 Anthropic 제품군에 국한된다는 점과 파일 읽기 가설이 공정한 재테스트를 위해 더 큰 작업 풀과 모델 위치 조정이 필요하다는 점을 언급하며, 연구의 범위를 겸허하게 제한하였다. 본 연구는 인출 문제를 해결했다고 주장하는 것이 아니라, 일반적인 어시스턴트 벤치마크에서 그 규모를 최초로 통제된 방식으로 정량화한 것이다.