기술 요약: AI 에이전트는 홀로 실패하지 않는다: 컨텍스트가 먼저 실패한다

문제 정의

AI 에이전트의 실패는 단순히 모델의 한계로 인한 고립된 사건이 아니다. 대신, 에이전트의 행동은 시스템 지침, 도구 스키마, 검색된 지식, 메모리, 가드레일, 그리고 신뢰할 수 없는 외부 입력의 동적인 결합체인 '컨텍스트(context)'에 의해 근본적으로 형성된다. 분야의 흐름이 단순한 프롬프트 엔지니어링에서 더 넓은 의미의 컨텍스트 엔지니어링으로 이동했음에도 불구하고, 조립된 컨텍스트의 품질은 여전히 제대로 측정되지 않고 있다.

현재의 평가 관행은 종종 행동 지표(예: 작업 성공 여부, 안전성)에 의존하는데, 이는 에이전트가 실패했다는 사실은 밝혀내지만 왜 실패했는지는 밝혀내지 못한다. 실패는 취약한 그라운딩(grounding), 상충하는 지침, 모호한 도구 스키마, 또는 신뢰할 수 있는 콘텐츠와 신뢰할 수 없는 콘텐츠 간의 불량한 분리에서 기인할 수 있다. 컨텍스트 자체의 품질을 측정할 메커니즘이 없다면, 팀들은 신뢰성을 위한 선행 지표를 확보하지 못한 채 컨텍스트 엔지니어링이 직관에 의존하는 관행이자 감사 불가능한 영역으로 남게 되는 운영상의 사각지대를 겪게 된다.

방법론

본 논문은 **컨텍스트 엔지니어링 품질(Context-Engineering Quality)**을 측정 가능한 독립적 구성 개념으로 제안하고 검증한다. 방법론은 세 가지 핵심 축을 중심으로 한다.

1. 7가지 기준 측정 구조

저자들은 컨텍스트 품질을 [0, 10] 척도로 점수가 매겨지는 7가지 특정 기준으로 정의한다:

• 역할 명확성(Role Clarity): 에이전트의 역할, 범위, 목표의 명시성.
• 가드레일 커버리지(Guardrail Coverage): 거절 방식, 에스컬레이션 경로, 안전 경계의 구체성.
• 지침 일관성(Instruction Consistency): 규칙의 내부 일관성 및 우선순위.
• 도구 스키마 품질(Tool Schema Quality): 도구 이름, 인자 유형, 사용 가이드의 명확성.
• 그라운딩 충분성(Grounding Sufficiency): 주장을 뒷받침할 신뢰할 수 있는 증거의 가용성.
• 인젝션 방어력(Injection Hardening): 신뢰할 수 있는 지침과 신뢰할 수 없는 입력 간의 분리.
• 토큰 효율성(Token Efficiency): 신뢰성을 담보하는 정보 대신 중복된 자료를 피하는 정도.

2. ProofAgent-Harness를 통한 구현

이 측정은 적대적 평가를 위한 오픈 소스 인프라인 ProofAgent-Harness를 통해 구현된다. 주요 설계 특징은 다음과 같다:

• 다중 배심원 합의(Multi-Juror Consensus): 점수 산정은 여러 "배심원" 관점(LLM)에 의해 수행되며, 이들은 평가자 편향을 줄이기 위해 결과에 대해 토론하고 조정한다.
• 엄격한 격리(Strict Isolation): 컨텍스트 점수($Q_{CE}$)는 행동 지표($B$)와 독립적으로 계산된다. 이는 최종 행동 등급이나 출시 결정에 영향을 미치지 않는다. 이러한 격리는 순환 논리적 검증을 피하고, 컨텍스트 품질이 진정한 선행 지표로서 작동하는지 테스트하기 위해 필수적이다.
• 증거 기반 결과(Evidence-Linked Findings): 점수와 함께 특정 기준이 낮게 측정된 이유(예: "도구 가이드 누락" 또는 "상충하는 정책")를 설명하는 구체적인 결과가 제공된다.

3. 실험적 검증 설계

컨텍스트 품질이 다운스트림 행동을 예측한다는 가설을 검증하기 위해, 저자들은 세 가지 규제 도메인인 고객 지원, 의료 청구 분류, 법률 계약 초안 작성에 걸쳐 통제된 연구를 수행했다.

• 통제 변수: 프런티어 LLM 백본(GPT-5.5 및 Claude Opus 4.8)은 고정되었다.
• 변수: 오직 운영 컨텍스트만이 세 단계로 변화되었다:
  • C1 (미흡): 모호한 역할, 약한 도구 가이드, 제한된 그라운딩, 가드레일 없음.
  • C2 (구조화): 더 명확한 역할, 타입이 지정된 도구, 그라운딩, 효율적인 조직화.
  • C3 (강화): C2에 명시적인 거절 조건, 에스컬레이션 규칙, 인젝션 분리가 추가됨.
• 규모: 300회의 멀티 턴 평가(도메인당 100회), 총 7,500개의 에이전트 턴 평가.
• 아티팩트 연구: 생성된 정책 실행 지침(policy runbooks)을 평가하여 대화 이상의 일반화 가능성을 테스트하는 병렬 연구를 수행했다.

주요 결과

실험 결과는 컨텍스트 엔지니어링 품질이 에이전트 신뢰성을 예측하는 독립적인 신호라는 가설을 뒷받침한다.

1. 컨텍스트 변화가 행동 변화를 유도함

모델을 고정한 상태에서 컨텍스트를 변경했을 때 에이전트의 행동이 유의미하게 변화했다:

• 구조화(C1 $\to$ C2): 미흡한 컨텍스트에서 구조화된 컨텍스트로 이동했을 때 가장 큰 행동적 이득이 발생했다. 최종 행동 점수는 3.15에서 5.49로 상승했고, 환각 저항성은 3.21에서 5.61로 높아졌으며, 치명적 실패는 약 68% 감소했다.
• 강화(C2 $\to$ C3): 컨텍스트 품질 점수는 계속 상승(8.1에서 8.7)했지만, 행동 지표가 단조 증가하지는 않았다. 강화된 컨텍스트는 에이전트를 더 보수적으로 만들었으며, 경계 사례에서 작업 완료 점수를 약간 감소시켰다. 이는 트레이드오프를 보여준다: 엄격한 가드레일은 안전성을 높이지만 유용성을 감소시킬 수 있다.

2. 컨텍스트 점수는 설계 의도를 추적함

측정 결과는 세 가지 컨텍스트 수준을 성공적으로 구분해 냈다:

• C1 미흡은 모든 기준에서 가장 낮은 점수(평균 4.4)를 기록했다.
• C2 구조화는 역할 명확성, 도구 스키마 품질, 그라운딩에서 상당한 개선을 보였다(평균 8.1).
• C3 강화는 특히 가드레일 커버리지와 인젝션 방어력에서 추가적인 개선을 보였다(평균 8.7).

3. 기준이 행동 신호를 예측함

상관관계 분석 결과, 특정 컨텍스트 기준이 상응하는 행동 결과와 예측됨을 확인했다:

• 그라운딩 충분성은 환각 저항성과 강한 상관관계를 보였다 ($r=0.63$).
• 가드레일 커버리지는 조작 저항성을 예측했다 ($r=0.60$).
• 지침 일관성은 지침 준수를 예측했다 ($r=0.57$).
• 도구 스키마 품질은 도구 사용 신뢰성을 예측했다 ($r=0.47$).
• 인젝션 방어력은 안전성을 예측했다 ($r=0.48$).

4. 토큰 효율성 vs 신뢰성

본 연구는 "짧을수록 좋다"는 가정을 반박했다. C1(미흡) 컨텍스트는 호출당 비용(토큰 수)이 가장 낮았으나 가장 위험한 행동을 생성했다. C3(강화) 컨텍스트는 더 비쌌지만 훨씬 더 신뢰할 수 있었다. 저자들은 토큰 효율성이 단순한 컨텍스트 길이가 아니라 토큰당 신뢰성 가치로 측정되어야 한다고 결론지었다.

5. 아티팩트로의 일반화

아티팩트 연구에서 그라운딩된 컨텍스트(C2/C3)는 생성된 정책 실행 지침의 환각 저항성을 개선했으며, 이는 측정이 대화형 대화뿐만 아니라 정적 결과물에도 적용됨을 입증한다.

의의 및 주장

본 논문은 컨텍스트 엔지니어링을 측정 가능하고 감사 가능한 에이전트 평가 및 거버넌스의 계층으로 확립한다고 주장한다. 주요 기여는 다음과 같다:

1. 정의: 모호한 "프롬프트 품질" 개념을 넘어, 실패 모드와 정렬된 구체적인 7가지 기준의 구성 개념으로서 컨텍스 엔지니어링 품질을 정의한다.
2. 구현: 엄격한 격리 메커니즘을 갖춘 ProofAgent-Harness를 통해 이를 실행하며, 컨텍스트 점수가 순환 논리에 빠지지 않는 독립적인 예측 변수임을 보장한다.
3. 검증: 컨텍스트 품질이 신뢰성의 선행 지표라는 실증적 증거를 제공한다. 팀들은 전체 규모의 행동 평가를 수행하기 전에 컨텍스트를 측정함으로써, 다운스트림의 증상만을 관찰하는 것이 아니라 업스트림의 원인(예: 약한 그라운딩 또는 누락된 가드레일)을 식별할 수 있다.

저자들은 이 작업을 적대적 레드팀 활동이나 인간 검토를 대체하는 것이 아니라, 하나의 **사전 비행 진단(preflight diagnostic)**으로 위치시킨다. 이를 통해 팀은 전체 규모의 행동 평가 비용을 들이기 전에 도구 스키마를 수정하거나, 그라운딩을 추가하거나, 인젝션 경계를 강화하는 등 에이전트의 '운영 환경'을 반복적으로 개선할 수 있다. 이는 컨텍스트 엔지니어링을 직관에 의존하는 관행에서 재현 가능한 엔지니어링 규율로 전환시킨다.