기술 요약: DFAH-Bench

문제 정의

금융 AI 에이전트는 서로 다른 도구, 실행 순서 또는 증거 소스를 활용하여 결론에 도달하더라도 일관된 최종 결정(예: "에스컬레이션" 또는 "기각")을 내리는 경우가 많습니다. 전통적인 결과 중심의 평가 지표는 이러한 프로세스 변동성을 감지하지 못하며, 이는 규제 환경에서의 운영 검토, 재생 가능성(replayability) 및 변경 제어 측에서 매우 중요합니다. 에이전트는 "일관되게 틀릴" 수도 있고, 잠재적으로 비준수적인 경로를 통해 올바른 답에 도달할 수도 있습니다. 핵심 문제는 동일한 조건 하에서 결정 안정성(최종 라벨에 대한 합의)과 프로세스 충실도(관찰 가능한 실행 경로에 대한 합의)를 구분하는 벤치마크가 부족하다는 점입니다.

방법론

본 논문은 **결정론-충실도 보증 하네스(Determinism–Faithfulness Assurance Harness, DFAH)**를 구체화한 벤치마크인 DFAH-Bench를 소개합니다. 이 방법론은 관찰 가능한 실행 안정성을 측정하기 위해 동일한 금융 태스크를 재현(replay)하는 데 중점을 둡니다.

1. 실험 설계

• 태스크: 연구는 세 가지 도메인(컴플라이언스(예: 제재 스크리닝), 금융 데이터옵스(예: 예외 처리), 로컬 조정)에 걸친 합성 워크플로우를 활용합니다. 이 태스크들은 실제 고객 데이터를 사용하지 않고 특정 제어 분기를 실행하도록 프로그래밍 방식으로 작성되었습니다.
• 재생 프로토콜(Replay Protocol): "케이스 그룹"은 단일 케이스와 구성(모델, 제공자, 샘플링 제어, 도구 인터페이스)에 대한 반복되는 에피소드로 구성됩니다.
  • 회고적 핵심(Retrospective Core): 8개 구성(Qwen, Gemma, GPT-OSS, Gemini, Claude 포함)에 걸친 719개 그룹, 4,157개 에피소드.
  • 전망적 확장(Prospective Extensions):
    • 로컬 하네스 체크: 캡처 경계를 검증하기 위해 시드(seed)를 고정한 8회의 케이스당 재생.
    • API 확장: 인자 인식 캡처(canonical arguments 및 결과 해시 포함)를 적용한 GPT-5.6 Terra 및 Claude Sonnet 5 대상 케이스당 3회 재생.
• 자격 기준: 고정된 구성과 필수 채널(예: 도구 호출 궤적)이 존재하는 경우에만 재생 그룹이 자격을 갖습니다. 필수 채널이 누락된 경우 "빈 경로"로 점수를 매기는 것이 아니라 부적격 처리합니다.

2. 측정 지표

본 벤치마크는 동일한 적격 그룹의 분모를 사용하여 두 가지 합의 지표를 쌍으로 결합합니다.

• 결정 합의율 (Decision Agreement Rate, DAR): 재생 간 동일한 결정의 최빈값 비율 ($DAR_c = \max_y \frac{1}{N_c} \sum 1[d_{cr} = y]$).
• 도구 경로 합의율 (Tool-Path Agreement Rate, TAR): 동일한 순서의 도구 이름 시퀀스의 최빈값 비율 ($TAR_{seq,c}$).
  • 변형: $TAR_{bag}$ (순서를 무시하는 멀티셋), $TAR_{set}$ (고유한 이름만 포함).
  • 전망적 변형 ($TAR_{strong}$): 순서가 지정된 이름, 정규화된 인자(canonical arguments) 및 결정론적 결과 해시를 포함합니다.
• 차이 ($\Delta_{DT}$): $DAR - TAR_{seq}$로 정의됩니다. 양(+)의 차이는 결정이 관찰된 프로세스보다 더 안정적임을 나타내며, 이는 결과 중심의 점수가 경로의 변동성을 숨기고 있음을 의미합니다.

3. 분석 접근 방식

연구는 4,157개의 회고적 에피소드와 570개의 전망적 에피소드를 분석합니다. 변동성을 도구 순서, 다중성(반복 호출) 및 고유 이름 변경으로 분해합니다. 본 연구는 "정확성"을 주장하는 것을 명시적으로 피하며, 대신 실행 충실도(재생 시 관찰 가능한 경로의 충실도)에 집중합니다.

주요 기여

1. 재생 자격 프로토콜: 닫힌 결정과 도구 경로를 쌍으로 묶고, 분모를 일치시키며, 관찰된 빈 경로와 누락된 필수 채널을 구분하는 방법론.
2. 구성 수준 분석: 제어된 증거와 제공자 기본 증거를 분리하고, 도구 순서, 다중성 및 고유 이름 변경을 분석하여 4,157개 에피소드에 걸친 변동성을 분해함.
3. 계측 블루프린트: 운영 워크플로우를 위한 프레임워크로, 관찰 가능성을 단순한 로깅 편의 기능이 아닌 추정량(estimand)의 일부로 취급하여 출처(provenance), 증거 신뢰도, 신선도 및 승격 결정을 기준으로 DFAH 측정을 조건화함.

결과

연구 결과, 결정은 만장일치이지만 근저의 프로세스는 그렇지 않은 상당한 "사각지대"가 드러났습니다.

• 회고적 결과:
  • 제어된 로컬 구성: 시드와 피스처(fixtures)가 고정되었을 때 차이가 거의 없음(0.0–0.1 포인트)을 보여, 높은 결정론을 나타냈습니다.
  • API 구성: 상당한 차이를 보였습니다.
    • Gemini 2.0 Flash: 5.0포인트 차이 (DAR 93.7% vs. TAR 88.7%).
    • Claude Sonnet 4 (제공자 기본값): 21.0포인트 차이 (DAR 94.3% vs. TAR 73.3%).
    • Gemini 2.5 Pro: 13.6포인트 차이.
  • 만장일치 결정 그룹: 결정이 100% 일치할 때조차, 도구 경로는 Gemini 2.0 Flash 그룹의 24.7%, Claude Opus 4 그룹의 **59.6%**에서 변동되었습니다. 일부 사례에서는 사용된 도구의 집합 자체가 바뀌는 변동(예: 제재 확인 생략 또는 리스크 점수 추가)이 발생했습니다.
• 전망적 API 확장 (인자 인식):
  • 결정은 94.2–95.1% 일치했습니다.
  • 정확한 도구 이름 경로는 **66.9–69.4%**만 일치하여, 25.8–27.3 포인트의 차이를 만들었습니다.
  • 정규화된 인자와 결과 해시를 포함한 $TAR_{strong}$을 적용했을 때, 합의율은 **45.0–51.5%**로 떨어졌으며, 차이는 43.6–49.2 포인트로 확대되었습니다.

의의 및 주장

본 논문은 DFAH-Bench를 모델 품질의 순위 시스템이 아닌 진단 도구로 포지셔닝합니다.

• 안정성 vs. 정확성: 저자들은 높은 재현성이 정확성, 공정성 또는 정책 준수를 의미하지 않는다는 점을 강조합니다. 반대로, 낮은 재현성은 자동적인 거부 기준이 아니라 검사의 신호입니다.
• 운영 가시성: 본 벤치마크는 "안정적인 라벨 뒤에 숨겨진 작업"을 가시화합니다. 이를 통해 운영 검토 시, 결정은 동일하더라도 필수 체크가 사라지거나 에이전트가 실행 시마다 선택적 도구에 다르게 의존하는 상황을 감지할 수 있습니다.
• 거버넌스 시사점: 결과는 금융 에이전트의 경우 거버넌스가 사후적으로 추가되는 것이 아니라 실행 설계 단계에서 표현되어야 함을 시사합니다(증거 스냅샷 고정, 규칙 기반 신뢰도 로깅 등). 본 벤치마크는 구성 변경이 의도치 않은 방식으로 관찰 가능한 실행 경로를 변경하지 않도록 하는 행동 회귀 테스트를 지원합니다.
• 한계점: 저자들은 사례가 합성 데이터이며, 이중 전문가 주석(dual-expert annotation)이 수행되지 않았고, 결과가 규제 준수나 운영 안전성을 확립하는 것이 아님을 명시적으로 밝힙니다. 본 연구는 문서화 및 변경 조사를 위한 엔지니어링 진단 도구입니다.