💬 NLP

Towards More Standardized AI Evaluation: From Models to Agents

이 논문은 정적 모델 중심의 기존 평가 관행이 진화하는 AI 에이전트 시스템의 신뢰와 거버넌스를 저해한다고 지적하며, 평가가 단순한 성능 측정을 넘어 비결정적 시스템의 신뢰를 조건 짓는 핵심 통제 기능으로 재정의되어야 한다고 주장합니다.

원저자: Ali El Filali, Inès Bedar

게시일 2026-02-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali El Filali, Inès Bedar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 **(AI)이라는 주제를 다룹니다.

과거에는 AI 가 "시험 문제"를 얼마나 잘 풀었는지 점수로만 평가했지만, 이제는 AI 가 스스로 판단하고 도구를 사용하는 "자율 에이전트"가 되면서, 단순히 점수를 보는 것만으로는 부족해졌다는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

1. 과거 vs 현재: "일회용 요리사"에서 "주방장"으로

**과거의 AI **(모델)
과거의 AI 는 마치 한 번만 요리를 해주는 요리사였습니다. 손님이 "김치찌개 만들어줘"라고 하면, 그 자리에서 한 그릇만 만들어냅니다. 평가는 아주 간단했습니다. "김치찌개 맛은 어때? 10 점 만점에 몇 점?"이라고 물어보고 점수를 매기면 됐습니다.

**현재의 AI **(에이전트)
하지만 요즘의 AI 는 혼자서 일하는 주방장이 되었습니다. 손님이 "내일 생일 파티 준비해줘"라고 하면, 이 주방장은 다음과 같은 일을 합니다.

냉장고 (파일 시스템) 를 열어 재료를 확인하고,
장바구니 (인터넷) 에 가서 물건을 사고,
캘린더에 일정을 넣고,
요리 도구를 꺼내서 요리를 합니다.

이제 평가는 "김치찌개 맛"만 보는 게 아닙니다. **"내일 파티가 성공적으로 치러졌을까? 중간에 실수하지 않았을까? 재료가 떨어졌을 때 어떻게 대처했을까?"**를 봐야 합니다.

2. 왜 기존 평가 방식은 실패하는가?

논문은 기존의 평가 방식이 마치 비행기 한 번만 날아본 것으로 안전성을 판단하는 것과 같다고 비판합니다.

일회성 성공은 무의미함: 비행기가 한 번 이륙해서 착륙했다고 해서 "이 비행기는 안전하다"고 할 수 없습니다. 비, 눈, 폭풍우 등 다양한 조건에서 수천 번을 안전하게 날아야 신뢰할 수 있죠. AI 도 마찬가지입니다. 한 번만 잘한다고 해서 믿을 수 없습니다.
**점수 함정 **(Goodhart's Law) "시험 점수가 목표가 되면, 그 시험은 더 이상 좋은 척도가 아니다"라는 법칙이 있습니다. AI 가 시험 문제 (벤치마크) 를 외워서 점수만 잘 받지만, 실제 상황에서는 엉뚱한 행동을 할 수 있습니다. 마치 시험지 답만 외운 학생이 실제 생활에서는 길을 못 찾는 것과 비슷합니다.

3. 새로운 평가의 핵심: "행동"을 관찰하라

이 논문은 AI 를 평가할 때 세 가지 중요한 변화를 제안합니다.

① "결과"보다 "과정"을 보라 (트랜스크립트)

과거에는 AI 가 내놓은 최종 답안만 확인했습니다. 하지만 이제는 **AI 가 생각한 과정 **(트랜스크립트)을 모두 봐야 합니다.

비유: 학생이 시험지를 제출했을 때, 정답만 확인하는 게 아니라 풀이 과정을 봐야 합니다. "왜 이 문제를 틀렸지? 계산 실수였을까, 아니면 개념을 잘못 이해했을까?"를 파악해야 다음에 고칠 수 있습니다.

② "실패"를 두려워하지 마라 (오류 분석)

AI 가 실수했을 때, "아, 점수가 낮네"라고 끝내면 안 됩니다. **"왜 실패했을까?"**를 파고들어야 합니다.

비유: 자동차가 고장 났을 때, "고장 났다"고만 말하지 않고 엔진 오일, 브레이크, 타이어를 하나씩 뜯어보며 원인을 찾아야 합니다. AI 의 실수도 "도구 사용 실수", "환경 설정 오류", "지시사항 오해" 등 원인이 다양합니다.

③ "일관성"이 곧 신뢰 (Pass@k vs Passk)

**Pass@k **(능력) 10 번 시도해서 1 번이라도 성공하면 "능력이 있다"고 보는 것. (예: 코딩할 때 10 번 중 1 번만 잘 맞는 코드를 뽑아내면 OK)
**Passk **(신뢰성) 10 번을 시도했을 때 10 번 모두 성공해야 "신뢰할 수 있다"는 것.
비유: 로또를 맞은 사람이 있다고 해서 그 사람이 "재테크 전문가"라고 할 수 없습니다. 하지만 매일 아침 7 시에准时 출근하는 사람은 신뢰할 수 있죠. 자율 주행 자동차나 의료 AI 는 "로또"처럼偶尔 잘 맞는 게 아니라, 매번 안전해야 합니다.

4. 새로운 평가장: "가상 현실"에서 테스트하라

이제 AI 를 평가할 때는 고정된 시험지 (MMLU 등) 를 주는 게 아니라, 가상의 현실 세계에 던져야 합니다.

비유: 수영 선수를 평가할 때, "수영 이론 시험지"를 푸는 게 아니라 실제 수영장에 던져야 합니다. 물살이 세고, 방향이 바뀌고, 예상치 못한 장애물이 있을 때 어떻게 헤엄치는지 봐야 하죠.
GAIA2 같은 도구: AI 가 스마트폰 앱, 이메일, 파일 시스템 같은 실제 환경에서 "내일 친구 생일 초대장 보내고, 항공권 예약해줘"라는 복잡한 지시를 수행하는지 테스트합니다. 여기서 AI 가 "할 수 있다"고 말만 하는 게 아니라, 실제로 이메일이 발송되고 예약이 완료되었는지를 확인해야 합니다.

5. 결론: 평가는 "감독"이자 "안전장치"

이 논문의 핵심 메시지는 다음과 같습니다.

"AI 의 지능이 얼마나 높아지는지보다, 우리가 그 AI 를 얼마나 잘 통제하고 측정할 수 있는지가 더 중요하다."

AI 를 개발하는 것은 새로운 자동차를 만드는 것이고, 평가는 안전성 검사입니다. 자동차가 아무리 빠르고 멋져도, 안전 장치가 없으면 도로에 내보낼 수 없습니다.

앞으로의 AI 발전은 단순히 "더 똑똑한 모델"을 만드는 것이 아니라, **"더 정교한 안전장치 **(평가 시스템)를 만드는 데 달려 있습니다. 우리가 AI 의 실수를 얼마나 빨리 발견하고, 그 실수가 얼마나 위험한지 정확히 측정할 수 있어야만, AI 를 우리 삶에 안전하게 받아들일 수 있습니다.

한 줄 요약:

"AI 가 한 번 잘한다고 해서 믿지 마세요. 다양한 상황에서도 꾸준히, 안전하게 일하는지 과정과 행동을 꼼꼼히 지켜보는 '현실적인 평가'가 진정한 신뢰의 시작입니다."

1. 문제 제기 (Problem)

기존의 AI 평가 방식은 정적 (static) 인 모델 중심의 시대에 맞춰 설계되었으며, 이는 이제 복잡하고 도구 사용이 가능한 AI 에이전트 (Agents) 시스템에는 적합하지 않습니다.

고정된 벤치마크의 한계: 기존 평가는 단일 입력에 대한 정답 확인 (Output Checking) 에 집중했으나, 에이전트는 다단계 추론, 도구 호출, 상태 유지, 환경 상호작용을 수행하므로 단순한 정답 여부가 시스템의 신뢰성을 보장하지 못합니다.
은밀한 실패 모드 (Silent Failure Modes): 벤치마크 점수가 높아도 실제 운영 환경에서는 추론 설정, 토큰화, 환경 상태 (Shared State) 등의 문제로 인해 시스템이 실패할 수 있습니다.
신뢰성 vs. 능력: "한 번 성공하는가 (Capability)"와 "일관되게 성공하는가 (Reliability)"를 구분하지 못해, 실제 배포에 필요한 안정성을 간과하는 경우가 많습니다.
규제와 기술의 괴리: EU AI 법 등 규제 기관은 평가를 의무화하지만 구체적인 기술적 방법론을 정의하지 않아, 산업계가 표준 없이 평가 체계를 구축해야 하는 혼란이 존재합니다.

2. 방법론 (Methodology)

이 논문은 에이전트 평가를 단순한 검증 단계를 넘어 **시스템의 핵심 제어 기능 (Core Control Function)**으로 재정의하고, 다음과 같은 방법론적 전환을 제안합니다.

가. 평가의 재정의: 행동 측정 (Behavior Measurement)

출력 확인에서 행동 측정으로: 단일 결과물이 아닌 시간, 불확실성, 제약 조건 하에서의 시스템 행동 일관성을 평가해야 합니다.
평가 파이프라인의 구성 요소:
1. 하네스 (Harness): 에이전트가 작동하는 인프라 (도구 인터페이스, 환경 상태). 하네스 자체가 평가 대상의 일부입니다.
2. 전사 (Transcript): 최종 결과뿐만 아니라 추론 단계, 도구 호출, 중간 상태 변화를 포함한 전체 기록.
3. 결과 (Outcome): 모델의 텍스트 응답이 아닌, 환경의 실제 상태 변화 (예: 파일 수정 완료, 이메일 발송 확인).
4. 그레이더 (Grader): 성능을 점수화하는 로직 (코드 기반, 모델 기반, 인간 기반의 하이브리드 접근).

나. 평가 방법론의 3 대 기둥

자동화된 벤치마킹: 로그 확률 기반 (다지선다형) 또는 생성형 평가. 확장성은 높으나 프롬프트 구조에 편향될 수 있음.
인간 평가: "Vibe check(감각적 확인)"부터 전문가 주석까지. 품질은 높지만 확장성과 비용 문제가 있음.
LLM-as-a-Judge: 다른 LLM 을 평가자로 사용. 확장성이 뛰어나지만, 평가자 모델의 편향 (위치 편향, 장문 편향, 자기 선호 등) 을 도입할 위험이 있음.

다. 에이전트 평가의 핵심 지표

Pass@k vs. Passk:
- Pass@k (능력): $k$ 번 시도 중 최소 1 번 성공할 확률 (창의성/코드 생성에 적합).
- Passk (신뢰성): $k$ 번 시도 모두 성공할 확률. 자율 에이전트 배포에는 Passk가 실제 생산성 준비도를 판단하는 핵심 지표입니다.
환경 기반 평가 (Environment-based Evaluation): 정적 데이터셋 대신 GAIA2, TextQuests 와 같은 시뮬레이션 환경 (스마트폰 OS, 텍스트 어드벤처 게임 등) 을 사용하여 불확실성, 도구 오류 복구, 시간적 추론 능력을 테스트합니다.

3. 주요 기여 (Key Contributions)

평가의 패러다임 전환 제안: "모델이 얼마나 좋은가?"에서 "시스템이 의도된 대로 행동하는가?"로 평가의 초점을 이동시킴.
에이전트 평가의 8 단계 라이프사이클 및 엔지니어링 실천법 제시:
- 초기 개발 단계에서의 작은 평가 스위트 구축, 점진적인 강화, 회귀 방지 (Regression Guards) 로의 전환.
- 평가가 규제 준수 (Compliance) 및 거버넌스의 증거 자료로 기능하도록 설계.
평가의 7 가지 주요 도전 과제 (Challenges) 식별 및 해결 방안:
- 자연스러움의 함정: 인간이 실제로 수행하지 않는 인공적인 과제는 배제하고 실제 유용성 (Usefulness) 을 기준으로 삼아야 함.
- 포화 속도 (Saturation Velocity): 벤치마크는 모델이 쉽게 풀 수 없도록 설계해야 함 (예: -200% 규칙).
- 은밀한 버그 (Silent Bugs): 추론 설정 (Temperature, Chat Template), 하드웨어 불확실성, 환경 상태 오염 등이 점수에 미치는 영향을 통제해야 함.
- 데이터 오염 및 Goodhart 의 법칙: 벤치마크가 최적화 대상이 될 때 발생하는 왜곡을 방지하기 위한 전략 필요.
규제적 관점의 통합: 평가가 규제 요구사항 (EU AI Act 등) 을 충족하는 실행 가능한 통제 메커니즘임을 강조하고, 기술적 정의 부재 속에서 산업계가 주도해야 할 책임을 명시.

4. 결과 및 시사점 (Results & Significance)

신뢰성 지표의 중요성 부각: 단순한 점수 상승이 아닌, Passk와 같은 신뢰성 지표를 통해 에이전트의 실제 배포 가능성을 판단해야 함을 보여줌.
환경의 복잡성 반영: GAIA2 와 TextQuests 와 같은 동적 환경 평가는 기존 정적 벤치마크가 포착하지 못하는 공간적 방향 감각 상실, 상태 환각 (State Hallucination), 비효율적인 추론 등의 실패 모드를 드러냄.
거버넌스 도구로서의 평가: 평가는 단순한 진단 도구가 아니라, 배포 승인, 롤백, 자율성 부여 여부를 결정하는 의사결정 메커니즘이 되어야 함.
미래 지향적 제안:
- 평가는 모델 개발 속도를 따라잡지 못하는 "평가 격차 (Evaluation Gap)"를 해소해야 함.
- 영어 중심의 평가에서 벗어나 다국어 및 소외된 지역의 에이전트 평가를 위한 표준화 노력 필요.
- AI 의 진보가 아키텍처의 혁신보다 행동을 측정하고 통제할 수 있는 평가 도구의 발전에 달려 있음을 강조.

5. 결론

이 논문은 AI 에이전트 시대에 평가가 단순한 "성능 확인"을 넘어 "신뢰 구축, 반복 개선, 거버넌스"의 핵심 기능으로 진화해야 한다고 주장합니다. 정적 벤치마크와 집계 점수에 의존하는 기존 방식은 더 이상 유효하지 않으며, 동적 환경에서의 행동 측정, 신뢰성 지표 (Passk), 그리고 엄격한 엔지니어링 통제를 갖춘 새로운 평가 체계가 자율 AI 시스템의 안전한 배포를 위한 필수 조건임을 강조합니다.