기술 요약: GroundEval

1. 문제 정의: 상태 부적격 정답성 (State-Invalid Correctness)

현재의 대규모 언어 모델(LLM) 에이전트 평가 방식, 특히 "LLM-as-Judge(판사로서의 LLM)" 접근법은 주로 최종 답변의 그럴듯함과 정확성에 집중합니다. 그러나 엔터프라이즈 환경(로그, CRM, 코드 저장소 및 역할 기반 데이터에 접근하는 환경)에서 작동하는 상태 기반(stateful) 에이전트의 경우, 단순한 정확성만으로는 부족합니다. 에이전트는 사실적으로 옳은 답변을 생성하면서도 과업의 상태 제약 조건을 위반할 수 있습니다.

본 논문은 이러한 실패 모드를 **상태 부적격 정답성(State-Invalid Correctness)**으로 정의합니다. 이는 최종 답변은 기대되는 세계 상태(world state)와 일치하지만, 그 답변을 도출하기 위해 사용된 증거 경로가 다음의 제약 사항을 위반하는 경우를 의미합니다:

• 가시성(Visibility): 행위자의 역할이나 서브시스템 권한을 벗어난 데이터에 접근함.
• 시간적 경계(Temporal Boundaries): 질문의 "기준 시점(as-of time)" 이후에 생성된 아티팩트를 사용함.
• 검색 완결성(Search Completeness): 필수적인 저장소를 검색하지 않고 증거의 부재를 주장함.
• 인과적 근거(Causal Grounding): 검증된 이벤트 연결이 아닌 시간적 인접성에 기반하여 인과관계를 추론함.

LLM 판사들은 결정론적으로 아티팩트가 특정 시점에 행위자에게 가시적이었는지 검증하는 데 필요한 기계 검증 가능 상태 계약(액세스 정책, 이벤트 로그, 아티팩트 타임스탬프)에 접근할 수 없기 때문에 이러한 실패를 감지하는 데 어려움을 겪습니다.

2. 방법론: GroundEval 프레임워크

GroundEval은 **기계 판독 가능한 정답 계약(ground-truth contract)**을 기준으로 에이전트를 평가하는 결정론적이고 판사가 필요 없는(judge-free) 프레임워크입니다. 이 방식은 사고 과정(chain-of-thought)에 대한 내성(introspection)이나 판사 모델의 추론(rationale)에 의존하지 않습니다.

핵심 구성 요소

이 프레임워크는 **정답 계약(Ground-Truth Contract)**을 생성하기 위해 네 가지 입력을 활용합니다:

1. 이벤트 로그(Event Log): 행위자, 아티팩트, 이벤트 유형이 포함된 타임스탬프 기반 스트림.
2. 아티팩트 코퍼스(Artifact Corpus): 검색 가능한 문서 또는 기록.
3. 액세스 정책(Access Policy): 행위자/역할별 서브시스템 가시성 및 시간 경계를 정의하는 규칙.
4. 평가 설정(Evaluation Configuration): 인과 관계, 침묵 쌍(기대되는 부재), 질문 템플릿에 대한 명세.

이 계약으로부터 시스템은 **질문 계약(Question Contracts)**과 **기대 답변 스키마(Expected Answer Schemas)**를 생성합니다. 에이전트는 다음 두 가지 모드 중 하나로 평가됩니다:

• 컨텍스트 모드(Context Mode): 에이전트는 사전 필터링된 컨텍스트 창을 전달받으며, 명시적인 evidence_artifacts 인용을 포함한 구조화된 답변을 제출해야 합니다.
• 도구 모드(Tool Mode): 에이전트는 fetch 또는 search 호출 시점에 액세스 제약을 강제하는 게이트형 런타임과 상호작용하며, 전체 도구 사용 트레이스(trace)를 기록합니다.

평가 트랙(Evaluation Tracks)

GroundEval은 세 가지 특정 실패 클래스를 대상으로 하며, 각 트랙은 전용 프로토콜을 가집니다:

1. 관점(Perspective): 에이전트가 특정 시점에 행위자가 알 수 있었던 정보를 존중하는지 테스트합니다 (시간적 누출 및 권한 위반 확인).
2. 반사실(Counterfactual): 에이전트가 단순한 시간적 인접성이 아닌 명시적인 조인 조건(예: 티켓 ID)을 사용하여 유효한 인과 관계를 식별하는지 테스트합니다.
3. 침묵(Silence): 에이전트가 무언가가 발생하지 않았음을 주장하기 전에 필수적인 공간을 검색하여 부재를 검증하는지 테스트합니다.

점수 산정 메커니즘

GroundEval은 **이중 점수 모델(Dual Score Model)**을 채택합니다:

• 답변 점수 ($S_{answer}$): 구조화된 최종 답변이 정답과 일치하는지 측정합니다.
• 경로 점수 ($S_{traj}$): 에이전트의 증거 경로(검색, 페치, 인용)가 상태 계약 내에 머물렀는지 측정합니다.

이들은 다음과 같은 **준수 조정 점수($S_{adj}$)**로 결합됩니다:
$$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$$
여기서 $v$는 위반율(행위자 게이트, 서브시스템 또는 호라이즌 위반)입니다. 이차 함수적 패널티(quadratic penalty)를 통해 높은 답변 정확도가 높은 거버넌스 위반율을 상쇄할 수 없도록 보장합니다.

3. 주요 기여

1. 결정론적 평가 계약: 판사 모델 없이 이벤트 로그와 액세스 정책으로부터 질문 계약과 답변 스키마를 도출하는 프레임워크를 제공하여, 정답 신호를 독립적으로 감사 가능하게 만듭니다.
2. 위반 조정을 포함한 이중 점수 모델: 정답과 '유효하게 도달한' 정답을 구분하며, 정답이 맞더라도 상태 제약을 위반한 에이전트에게 패널티를 부여합니다.
3. 결정론의 형식화: 동일한 계약과 트레이스에 대해 점수가 결정론적임을 보장하여, 모델 버전 및 프롬프트 변경에 따른 회귀 테스트 게이트 역할을 수행할 수 있게 합니다.
4. 재사용 가능한 세 가지 트랙: 관점, 반사실, 침묵 실패를 다루는 구체적인 평가 프로토콜을 통해 기존 궤적 평가의 사각지대를 해결합니다.

4. 실험 결과

본 프레임워크는 결정론적 정답을 생성하는 시뮬레이션 프레임워크인 OrgForge를 통해 검증되었습니다. 평가는 세 가지 트랙(관점, 반사실, 침묵)에 걸쳐 96개의 질문과 DeepSeek-V4-Pro 에이전트를 대상으로 진행되었습니다.

주요 결과:

• 판사의 격차(The Judge Gap): 사례 연구에서 두 개의 최첨단 LLM 판사(Kimi-K2.6 및 ChatGPT-5.5)는 그럴듯하지만 부적절한 에이전트의 응답에 각각 0.90과 0.85의 점수를 부여했습니다. 반면, GroundEval은 동일한 응답에 대해 답변 점수 0.000(필요한 아티팩트가 한 번도 호출되지 않았기 때문)과 경로 점수 0.273을 부여하여, 유효하지 않은 증거 경로를 드러냈습니다.
• 관점 실패(Perspective Failures): 에이전트들은 물리적 참석과 역할 기반 서브시스템 액세스를 자주 혼동하였으며, 이로 인해 높은 답변 점수를 얻었음에도 불구하고 행위자 게이트 위반으로 인한 상당한 경로 패널티를 받았습니다.
• 반사실 실패(Counterfactual Failures): 에이전트들은 구조적 조인 조건(예: 티켓 ID) 대신 표면적인 주제 유사성에 의존하는 경우가 많았으며, 이는 최종 답변 점수로는 감지되지 않지만 궤적 분석에서는 포착되는 잘못된 인과 주장을 초래했습니다.
• 제로샷 베이스라인(Zero-Shot Baseline): 에이전트들이 도구 접근 권한이 없는 제로샷 조건에서도 무시할 수 없는 답변 점수를 획득했는데, 이는 일부 질문이 증거 검색이 아닌 표면적인 문구만으로도 답변될 수 있음을 시사하며, 엄격한 질문 생성 제어의 필요성을 강조합니다.

5. 의의 및 주장

본 논문은 "그럴듯함(plausible)"과 "유효함(valid)" 사이의 간극이 드문 예외 상황이 아니라 현재 에이전트 평가의 근본적인 사각지대라고 주장합니다. GroundEval은 상태 기반 에이전트에게 있어 증거 경로 자체가 답변의 일부라고 단언합니다.

이 연구의 의의는 평가의 초점을 **결과 감독(outcome supervision, 모델이 정답을 맞혔는가?)**에서 **과정 감독(process supervision, 모델이 유효한 상태 경로를 통해 정답에 도달했는가?)**으로 전환하는 데 있습니다. 상태 계약을 명시적이고 점수화 가능하게 만듦으로써, GroundEval은 의미론적 그럴듯함에 의존하는 LLM 판사가 구조적으로 포착할 수 없는 "상태 부적격 정답성"을 탐지하는 메커니즘을 제공합니다. 이 프레임워크는 모델 버전과 도메인 전반에 걸쳐 재사용 가능하도록 설계되었으며, 에이전트 개발을 위한 결정론적 회귀 게이트 역할을 수행합니다.