🤖 AI

Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability

본 논문은 U-통계량과 커널 기반 지표를 활용하여 AI 에이전트의 핵심 능력과 실행 견고성을 구분하는 엄밀한 통계적 프레임워크를 제시하며, 고위험 환경에서의 신뢰성 문제를 식별하는 데 있어 전통적인 pass@1 비율보다 궤적 수준 일관성 측정이 더 우수한 진단 민감도를 제공함을 입증합니다.

원저자: Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 지능적인 로봇 비서를 고용하여 복잡한 퍼즐을 해결하도록 상상해 보세요. 당신은 그에게 특정 유형의 다리를 짓도록 요청합니다. 그는 완벽하게 수행합니다. 당신은 기뻐합니다.

하지만 그다음, 당신은 정확히 같은 질문을 다시 하되, 표현을 약간 다르게 바꿉니다. "이 특정 디자인의 다리를 건설해 줄 수 있나요?" 로봇은 다리를 짓는 대신 갑자기 배를 짓기로 결정하거나, 혼란을 느껴 설계도를 먹기 시작합니다.

이 논문이 다루는 문제가 바로 이것입니다. AI 에이전트(로봇 비서)가 한 번은 올바른 답을 냈다고 해서 그것이 신뢰할 수 있다는 뜻은 아니라는 주장을 펼칩니다. 요청의 문구를 바꾸거나 작업 환경을 약간 변경하기만 해도 무너질 수 있는 '일회성 천재'일 수 있습니다.

간단한 비유를 사용하여 그들의 해결책을 살펴보겠습니다.

1. 문제: '변덕스러운 셰프'

AI 를 테스트하는 현재의 방식은 오직 한 가지 요리만 맛보는 음식 평론가와 같습니다. 셰프가 한 번 완벽한 스테이크를 만들면, 평론가는 5 점 만점을 줍니다. 하지만 만약 그 셰프가 '변덕스러운 셰프'라면 어떨까요?

스테이크를 '미디엄 레어'로 요청하면 완벽하게 만들어 줍니다.
'미디엄 레어'(공백 포함) 로 요청하면 태워버립니다.
다른 언어로 요청하면 수프를 서빙합니다.

논리는 다음과 같습니다: 셰프가 한 번 요리할 수 있는지 여부가 아니라, 일관성이 있는지 테스트해야 합니다.

2. 해결책: '일관성 테스트'

저자들은 AI 에이전트를 위한 새로운 통계적 '적성 테스트'를 개발했습니다. AI 에게 한 번만 작업을 수행하도록 요청하는 대신, 같은 작업을 여러 번 수행하도록 요청하되, 글꼴을 바꾸거나 오타를 추가하거나 문장을 재구성하는 것과 같이 사소하고 해가 없는 변화를 가합니다.

그들은 두 가지를 측정합니다.

결과 (출력 일관성): AI 가 매번 같은 답을 내놓았습니까?
여정 (궤적 일관성): AI 가 그곳에 도달하기 위해 같은 단계를 밟았습니까?

3. '지도' 대 '목적지'

이것이 이 논문의 가장 중요한 발견입니다. 그들은 AI 가 올바른 목적지(정답) 에 도달할 수 있지만, 매번 완전히 다른 지도(거친 단계) 를 사용할 수 있음을 발견했습니다.

비유: 공항으로 가는 길 안내를 GPS 에게 요청한다고 상상해 보세요.
- 시나리오 A: 매번 같은 경로를 제시합니다. (일관됨)
- 시나리오 B: 공항으로 데려가지만, 오늘은 고속도로를 가고, 내일은 뒷골목으로 가고, 다음 날은 공원을 통과합니다. (일관되지 않음)

이 논문은 기존의 테스트가 공항에 도착했는지 여부 (통과/불합격) 만 확인한다고 지적합니다. 그들의 새로운 테스트는 GPS 가 신뢰할 수 있는 지도를 사용하는지 확인합니다. 그들은 AI 가 정답을 얻더라도 매번 혼란스럽고 다른 경로를 취하는 경우가 많으며, 이는 실제 세계에서의 사용에 위험하다고 밝혔습니다.

4. '드리프트' 감지기

저자들은 이 '드리프트'를 측정하기 위해 'U-통계량'과 '커널'을 사용하는 수학적 도구를 개발했습니다.

구성 드리프트: AI 가 같은 도구를 사용했습니까? (예: 망치와 톱을 사용했나요, 아니면 망치와 숟가락을 사용했나요?)
순서 드리프트: AI 가 같은 순서로 작업을 수행했습니까? (예: 나무를 자른 다음 페인트를 바랐나요, 아니면 먼저 페인트를 바랐나요?)

그들은 AI 에이전트가 올바른 도구를 선택하는 것 (구성) 은 종종 잘하지만, 사용 순서를 기억하는 것 (순서) 은 매우 못한다는 사실을 발견했습니다. 환경을 약간 변경하면 (예: 파일 이름 변경 또는 데이터베이스 열 변경), AI 는 올바른 도구를 선택할 수 있지만 잘못된 순서로 사용하여 전체 계획이 무너질 수 있습니다.

5. '시간 여행' 진단

이 논문은 AI 가 언제 실수를 하는지 살펴보는 교묘한 방법도 소개합니다.

초기 오류: AI 가 시작하자마자 바로 혼란에 빠집니다.
후기 오류: AI 는 처음에는 잘하지만 마지막에 생각이 끊어집니다.

그들은 일부 AI 에이전트가 실제로는 시작 부분에서는 꽤 안정적이지만 끝부분에서 무너진다는 사실을 발견했습니다. 이는 에세이의 서론은 훌륭하게 작성하지만 결론은 완전히 잊어버리는 학생과 같습니다. 그들의 새로운 '가중' 테스트는 이러한 특정 약점을 포착할 수 있지만, 기존 테스트는 이유를 설명하지 않은 채 단순히 "에세이 불합격"이라고만 말합니다.

6. '잘못된 형식'의 놀라움

한 가지 특정 실험에서 그들은 AI 에게 데이터 형식을 다르게 (JSON 대신 XML) 출력하도록 요청했습니다. AI 는 단순히 답을 틀린 것이 아니라 완전히 붕괴되어 읽을 수 없는 잡음을 생성했습니다. 이는 AI 가 '추론'이 부족해서가 아니라, 한 형식 (JSON) 에 심하게 편향되어 있어 전환을 처리하지 못했음을 보여줍니다.

요약

이 논문은 일관성이 현재 AI 평가에서 누락된 측정 가능하고 테스트 가능한 속성이라고 주장합니다.

구식 방식: "올바른 답을 얻었습니까?" (예/아니오)
신규 방식: "동일한 질문을 100 가지 다른 방식으로 100 번 물었을 때, 같은 경로를 통해 같은 결과를 얻습니까?"

그들은 많은 AI 에이전트가 '취약하다'는 것을 증명합니다. 표준 테스트에서는 똑똑해 보일지라도 프롬프트를 약간만 조정하면 내부 논리가 무너집니다. 그들의 새로운 프레임워크는 개발자에게 AI 가 정확히 어디서, 왜 무너지는지를 찾아낼 수 있는 수학적 도구를 제공하여, 의료나 금융과 같은 고위험 상황에서 배포하기 전에 아키텍처를 수정할 수 있게 합니다.

간단히 말해: AI 가 한 번 정답을 냈다고 해서 무조건 신뢰하지 마세요. 질문의 글꼴을 바꿨을 때 당황하지 않는지 확인하세요.

기술적 요약: 검증 가능한 속성으로서의 일관성

문제 제기

대형 언어 모델 (LLM) 에이전트는 소프트웨어 공학부터 복잡한 추론에 이르기까지 다양한 분야에서 뛰어난 능력을 입증해 왔으나, 행동 일관성의 부재로 인해 고위험 환경에서의 배포는 방해받고 있습니다. 결정론적 소프트웨어와 달리 LLM 기반 에이전트는 샘플링의 확률적 성질과 표면적 프롬프트 변화에 대한 민감성으로 인해 의미적으로 동등한 입력을 접할 때 출력 변이가 크게 발생합니다. 현재 평가 방법론은 주로 작업 완료율 (예: pass@1) 과 특정 벤치마크의 정확도에 초점을 맞추고 있습니다. 그러나 이러한 지표들은 에이전트가 입력 구성, 컨텍스트, 또는 실행 환경의 변화에 직면했을 때 일관되고 신뢰할 수 있는 출력을 생성하는지 여부를 포착하지 못합니다.

본 논문은 현재 에이전트 신뢰성에서 몇 가지 중요한 한계를 강조합니다:

교란에 대한 취약성: 작은 오타나 재표현만으로도 사고의 연쇄 (chain-of-thought) 추론 정확도가 크게 하락할 수 있습니다.
도구 민감성: 여러 도구에 접근 가능한 에이전트는 도구 설명이 수정되거나 관련 없는 도구가 추가될 때 불안정한 행동을 보이며, 적대적 조건 하에서는 정확도가 거의 0 으로 떨어집니다.
모순된 응답: 에이전트는 특히 컨텍스트 길이 제한이나 미구현된 쿼리 하에서 대화 턴 간 모순된 응답을 자주 생성합니다.
벤치마크 오염: 정적 벤치마크 (예: SWE-bench) 의 성능은 지속적으로 업데이트되는 변형 (예: SWE-bench-Live) 으로 이어지지 않는 경우가 많아, 진정한 견고성의 부재를 시사합니다.

기존 연구는 에이전트 실행 궤적 수준에서 일관성을 분해하고 측정하기 위한 표준화되고 엄격한 프레임워크가 부족하며, 종종 최종 출력에만 초점을 맞추고 있습니다.

방법론

저자들은 통계적 가설 검정을 기반으로 한 AI 에이전트 신뢰성을 위한 엄격한 측정 과학을 제안합니다. 이 프레임워크는 신뢰성을 관측 가능 (출력 수준) 과 내부 (궤적 수준) 라는 두 가지 차원으로 분해합니다.

1. U-통계량을 통한 출력 일관성

출력 수준에서 일관성을 측정하기 위해 저자들은 U-통계량을 사용하여 문제를 공식화합니다.

설정: 기본 프롬프트 $x_0$ 와 의미적으로 동등한 교란 변형 집합 $x_1, \dots, x_n$ 이 주어졌을 때, 에이전트는 출력 $y_0, \dots, y_n$ 을 생성합니다.
지표: 대칭 커널 함수 $k(y_i, y_j)$ 는 출력 쌍 간의 유사성을 측정합니다 (예: BLEU, ROUGE, 함의, 또는 LLM 기반 판정관).
추정자: 일관성은 모수 $\theta = E[k(Y, Y')]$ 의 불편 추정량인 U-통계량 $U_n$ 으로 추정됩니다.
가설 검정: 이 프레임워크는 귀무가설 $H_0: \theta = 1$ (완벽한 일관성) 을 대립가설 $H_1: \theta < 1$ (불일치) 에 대해 검정합니다. 정리 1 과 2 는 특정 가정 (분포 불변성과 동질적 작업 분포) 하에서 검정 통계량이 점근적으로 정규 분포를 따른다고 입증하여, 크기 (거짓 양성 통제) 와 검정력 (불일치 탐지 민감도) 에 대한 보장을 제공합니다.

2. 커널 방법을 통한 궤적 일관성

에이전트가 순차적 의사결정 과정을 실행한다는 점을 인식하여, 이 프레임워크는 실행 궤적 $\tau = (a_1, \dots, a_T)$ 으로 확장됩니다.

확률 과정: 궤적은 가변 길이와 시간적 종속성을 가진 확률 과정으로 취급됩니다.
지표: 저자들은 재현 커널 힐베르트 공간 (RKHS) 에서 최대 평균 불일치 (MMD) 를 사용하여 기본 궤적 분포와 교란 궤적 분포 간의 거리를 측정합니다.
커널: 가변 길이 행동 시퀀스를 처리하기 위해 논문은 다음을 사용합니다:
- 제센 - 샤논 거리 (JSD): 사용된 도구의 비율을 측정하는 구성 드리프트를 측정합니다.
- 레벤슈타인 거리 (LD): 시퀀스 안정성을 측정하는 순서 드리프트를 측정합니다.
- 글로벌 정렬 커널 (GAK): 편집 거리에서의 비음수 부정정성 문제를 해결하는 양의 정부호 커널로, MMD 를 위한 통계적으로 유효한 유사체를 제공합니다.
가중 지표: 후기 단계의 편차가 초기 탐색보다 더 중대한 결과를 초래하는 오류의 비대칭성을 포착하기 위해, 저자들은 위치에 따라 편집 비용을 스케일링하는 가중 레벤슈타인 거리를 도입합니다.

3. 다중 모드 처리

단일 작업에 대해 여러 유효한 해결 전략이 존재할 수 있는 문제를 해결하기 위해, 이 프레임워크는 두 단계 접근법을 제안합니다: (i) GAK 행렬에 대한 스펙트럼 클러스터링을 통해 해결 모드를 식별하고, (ii) 각 모드 내에서 일관성을 측정하여 정당한 전략 다양성과 진정한 불안정성을 구분합니다.

주요 기여

근간 프레임워크: 본 논문은 에이전트 일관성을 정량화하기 위한 원칙적인 통계적 프레임워크를 수립하여, 핵심 능력과 실행 견고성을 구분합니다.
이론적 엄밀성: 제안된 검정 통계량의 점근적 정규성에 대한 형식적 증명 (정리 1–3) 을 제공하여 보수적인 거짓 양성률과 실제 불일치를 탐지하기 위한 높은 검정력을 보장합니다.
진단 세분화: 불일치를 구성 드리프트(취해진 행동) 와 순서 드리프트(행동의 시퀀싱 방식) 로 분해함으로써, 출력 전용 지표로는 보이지 않는 아키텍처적 약점을 드러냅니다.
시간적 진단: 가중 궤적 지표의 도입은 에이전트가 언제 편차하는지 (선두 부하 대 후방 부하 오류) 를 식별할 수 있게 하여, 아키텍처 수정을 위한 구체적인 지침을 제공합니다.

실험 결과

이 프레임워크는 세 가지 에이전트 벤치마크에서 검증되었습니다: SWE-bench Verified(소프트웨어 공학), Spider2-DBT(데이터 변환), BFCL(함수 호출). 실험에는 프롬프트 수준 (재표현, 역번역, 노이즈) 과 작업 수준 (환경 변경, 스키마 이동, 미끼 도구) 교란이 적용되었습니다.

높은 정확도가 일관성 실패를 가립니다: 에이전트는 프롬프트 수준 교란 하에서 상대적으로 높은 출력 일관성 (0.75–0.90) 을 유지했으나, 작업 수준 교란 하에서는 상당한 저하를 보였습니다.
궤적 지표는 숨겨진 실패를 드러냅니다:
- SWE-bench: "선형 MCP" 교란 (정보 검색 메커니즘 변경) 하에서 OpenHands+Kimi-K2 의 정확도는 약 25% 로 붕괴되었으나, 출력 일관성은 60% 로 유지되었습니다. 궤적 분석은 도구 선택은 일관되었으나 (높은 JSD), 행동의 순서가 크게 저하되었음을 (낮은 레벤슈타인) 보여주어 실행 시퀀싱 실패를 나타냈습니다.
- BFCL: XML 형식 교란 하에서 OpenHands+Kimi-K2 의 정확도는 거의 0 으로 떨어졌습니다. 궤적 지표는 구성과 순서 모두에서 완전한 붕괴를 보여주어, JSON 파싱에 대한 하드코딩된 의존성과 유효한 XML 생성 불가 능력을 드러냈습니다.
- Spider2-DBT: Codex 는 스키마 교란 하에서 높은 구성 일관성을 보였으나 중간 정도의 순서 일관성을 보였는데, 이는 에이전트가 교란된 입력에 대해 일관되게 잘못된 답변을 생성했음을 시사합니다.
교란 강도: 제거 분석 연구는 교란 강도를 높이는 것 (예: 여러 번의 재표현 통과) 이 정확도의 점진적 하락으로 이어지는 반면, 특정 구조적 변경 (예: 죽은 코드 주입) 은 포화 효과를 보였음을 보여주어, 에이전트가 명확히 사용되지 않는 코드를 무시할 수 있음을 시사했습니다.

중요성 및 주장

본 논문은 "에이전트가 어디서 그리고 왜 편차하는지 격리하기 위한 수학적 도구"를 제공한다고 주장합니다. 그 중요성은 "에이전트가 작업을 해결하는가?"라는 평가 패러다임에서 "에이전트가 변화 하에서 작업을 신뢰성 있게 해결하는가?"로 전환하는 데 있습니다.

진단 민감도: 저자들은 궤적 수준 일관성 지표가 전통적인 pass@1 비율보다 훨씬 더 큰 진단 민감도를 제공하며, 정확도 지표가 은폐하는 아키텍처적 취약성을 노출한다고 입증했습니다.
배포 준비성: 특정 실패 모드 (예: 순서 오류 대 도구 선택 오류) 를 식별함으로써, 이 프레임워크는 아키텍처적 문제의 식별 및 수정을 가능하게 하여, 고위험 실세계 환경에 에이전트를 배포하기 위한 전제 조건을 충족시킵니다.
한계: 저자들은 그들의 접근 방식이 교란의 의미적 동등성에 대한 가정에 의존하며, 이는 경험적으로 검증하기 어렵다고 인정합니다. 또한, 현재 궤적 분석은 행동 시퀀스를 일관성의 단위로 취급하여 중간 추론 상태나 신념 업데이트를 무시하는데, 이는 표준 에이전트 프레임워크에서 현재 노출되지 않는 내부 모델 상태에 대한 접근이 필요합니다.

결론적으로, 이 작업은 단순한 성공률을 넘어 에이전트가 스트레스 하에서 어떻게 행동하는지에 대한 세밀한 이해로 나아가는 엄격하고 검증 가능한 에이전트 신뢰성 정의를 제공함으로써, 더 견고한 AI 시스템을 구축하기 위한 기반을 마련합니다.