Litmus: Zero-Label, Code-Driven Metric Specification for Evaluating AI Systems

기술 요약: Litmus – 제로 레이블(Zero-Label), 코드 기반 메트릭 명세

문제 정의

대규모 언어 모델(LLM) 시스템이 프로토타입을 넘어 복잡하고 에이전트적인 프로덕션 파이프라인(검색, 도구 사용, 라우팅 및 폴백 포함)으로 전환됨에 따라, 평가는 점점 더 어려워지고 있습니다. 현재의 관행은 두 가지 주요 문제점을 겪고 있습니다:

1. 암묵적 평가 목표: 평가 목적이 명시되지 않은 채로 남겨져 있어, 명확한 근거 없이 메트릭을 선택하는 "키친 싱크(kitchen-sink)" 접근 방식이 나타납니다.
2. 프로덕션 요구사항과의 불일치: 자동화된 메트릭은 주로 연구 환경에서의 최종 출력 비교를 위해 설계되었으며, 프로덕션에서 요구되는 디버깅, 모니터링, 감사 가능성 및 리스크 관리를 지원하는 데 실패합니다. 에이전트 시스템의 실패는 최종 출력 점수 자체보다는 중간 구성 요소(예: 검색 오류, 규칙 건너뛰기, 잘못 보정된 신뢰도)에서 기인하는 경우가 많습니다.

기존의 자동 메트릭 시스템(예: AutoMetrics, DynamicRubric)은 평가 대상이 이미 알려져 있다고 가정하며, 시스템의 실제 설계 의도를 심문하기보다는 최종 출력에 모델(judge)을 맞추는 데 집중합니다.

방법론: Litmus 시스템

Litmus는 소스 코드로부터 직접 평가 및 모니터링 메트릭을 설계하는 제로 레이블 시스템입니다. 이 시스템은 메트릭 설계를 심문을 통한 목표 도출(goal elicitation) 문제로 재정의합니다. Litmus는 다음 5단계로 작동합니다 (그림 2):

1. 아키텍처 재구성 (Architecture Reconstruction):

   • 결정론적 스캐너가 코드베이스를 파싱하여 임포트(import) 및 심볼/호출 그래프를 구축합니다.
   • LLM이 모듈, 역할, AI 역량 및 리스크 표면을 설명하는 8~20개 노드의 컴포넌트 그래프를 합성합니다.
   • 적대적 비판자(adversarial critic)가 이 그래프를 코드 증거와 대조하여 검증함으로써, "유령(phantom)" 컴포넌트를 제거하고 누락된 컴포넌트를 식별하여 아키텍처가 해결 가능한 코드에 근거하도록 보장합니다.

2. 패턴 분류 (Pattern Classification):

   • 컴포넌트를 평가 패턴 분류 체계(예: 데이터 획득, AI 코어, 보증) 및 교차 기능 전략(예: RAG, 에이전트 오케스트레이션)에 매핑합니다.
   • 이 단계는 근본적인 가정을 해결하지 않고도 가능한 메트릭 제품군(예: 검색을 위한 커버리지, AI 코어를 위한 지연 시간)을 식별함으로써 설계 공간을 좁힙니다.

3. 심문 (Interrogation - 제약 조건 생성):

   • Litmus는 두 가지 채널을 통해 모호함을 명시적인 제약 조건으로 변환합니다:
     • 명확화 질문 (Clarification Questions): 미지정된 결정을 해결하기 위해 실무자를 대상으로 하는 질문 (예: "폴백 경로가 자주 실행되어야 합니까?").
     • 적대적 타당성 질문 (Adversarial Validity Questions): 네 가지 축(파이프라인 적합성, 유효성 조건, 데이터 가정, 선함의 방향)에 대한 LLM 비판자의 내부 점검.
   • 이러한 질문에 대한 답변은 후보 메트릭을 수용, 거부 또는 재조정하는 **확인된 사실(confirmed facts)**이 됩니다.

4. 메트릭 설계 (Metric Design):

   • 재구성된 아키텍처와 확인된 사실을 바탕으로, 시스템은 각 컴포넌트별로 고신호(high-signal) 메트릭 포트폴리오를 생성합니다.
   • 포트폴리오는 다음을 포함합니다:
     • 결정론적 체크 (Deterministic checks): 측정 가능한 동작(예: 에러율, 지연 시간)에 대해 수행됩니다.
     • LLM-as-Judge 메트릭: 의미론적 품질을 위해 사고 사슬(CoT) 추론이 포함된 5점 척도 루브릭으로 점수를 매깁니다.
     • 복합 메트릭 (Composite metrics): 단일 품질 차원을 여러 각도에서 측정하는 가중치 적용 하위 메트릭입니다.
   • "5개 메트릭 규칙"은 중복을 제한하며, "노 엄브렐라(no-umbrella)" 규칙은 메트릭이 모호한 모듈 수준의 출력이 아닌 특정 티어를 타겟팅하도록 보장합니다.

5. 추적성 및 내보내기 (Traceability & Export):

   • 시스템은 소스 코드 및 이를 정당화하는 확인된 사실에 대한 완전한 추적성을 갖춘 실행 가능한 메트릭 정의를 내보냅니다.
   • 오프라인 평가 메트릭을 프로덕션 모니터링 대응물로 매핑합니다.

주요 기여

1. 메트릭 설계의 재정의: 본 논문은 메트릭 설계를 "어떤 메트릭을 계산할 것인가?"에서 "무엇을 왜 측정해야 하는가?"로 전환할 것을 제안하며, 메트릭 설계를 명확화 질문 생성을 통해 불확실성을 해결하는 탐구 기반의 문제로 취급합니다.
2. Litmus 시스템: 소스 코드만을 사용하여 정당화된 개별 단계별 메트릭 포트폴리오를 도출하는 제로 레이블 시스템입니다. 이는 실무자의 답변과 내부 유효성 검사를 명시적인 설계 제약 조건으로 사용합니다.
3. 평가 프레임워크: 저자들은 자동 메트릭 설계 시스템을 특징짓는 포트폴리오 수준의 축을 도입합니다:
   • 커버리지 (Coverage): 참조된 실패 우려 사항 중 해결된 비율.
   • 근거성 (Grounding): 메트릭이 일반적인 언어가 아닌 특정 구현 산출물(모듈, 규칙)을 참조하는 정도.
   • 중복성 (Redundancy): 동일한 동작을 측정하는 메트릭 쌍의 비율.

실험 결과

Litmus는 세 가지 실제 코드 정의 AI 파이프라인(Financial Account Grouping, Scientific QA (PaperQA2), Inherent Risk Assessment)에서 평가되었습니다. 이는 AutoMetrics 및 세 가지 DynamicRubric 베이스라인(INST, DS, FT)과 비교되었습니다.

• 커버리지: Litmus는 최종 출력에 집중하는 베이스라인들에 비해 더 많은 파이프라인 단계를 아우르며 모든 파이프라인에서 가장 넓거나 공동으로 넓은 커버리지를 달enc했습니다.
• 중복성: Litmus는 중복이 거의 없는 포트폴리오를 생성하여 AutoMetrics를 크게 앞질렀습니다.
• 근거성: Litmus는 금융 및 리스크 평가 파이프라인에서 높은 근거성을 보였으며, Scientific QA에서는 약간 뒤처졌습니다.
• 타당성 (레이블 일치도): 설계 시 제로 레이블을 사용했음에도 불구하고, Litmus는 세 가지 파이프라인 모두에서 독립적인 행별 품질 레이블에 대해 가장 높은 타당성(Spearman $\rho$)을 달성했습니다.
  • Scientific QA: Litmus는 $\rho = 0.72$를 달성하여 모든 베이스라인(모두 $< 0.47$)을 결정적으로 압도했습니다.
  • Financial & Risk: Litmos가 1위를 차지했으며, 일부 컴포넌트에서는 가장 강력한 베이스라인의 신뢰 구간 내에 결과가 포함되었으나, 제로 레이블 제약 조건 하에서 유리한 순위를 유지했습니다.
• 저하 민감도 (Degradation Sensitivity): Litmus의 메트릭은 합성적으로 저하된 출력에 대해 가장 민감했으며, 손상 감지에 있어 베이스라인과 대등하거나 그 이상의 성능을 보였습니다.

의의 및 주장

본 논문은 자동 메트릭 명세(무엇을 왜 측정할 것인가를 정의하는 것)가 효과적인 자동 메트릭 구현의 전제 조건이라고 주장합니다. 소스 코드와 실무자를 심문함으로써, Litums는 모든 메트릭이 증거 및 설계 의도와 연결된 "정당화된 포트폴리오"를 생성합니다.

저자들은 Litmus를 메트릭을 사후에 선택되는 일반적인 객체로 취급하는 것에서, 시스템 설계에 근거한 측정 약속으로 취급하는 변화로 규정합니다. 결과에 따르면, 심문을 통해 평가 대상을 도출하는 것이 최종 출력 점수만을 집중하는 시스템보다 더 넓은 커버리지, 낮은 중복성, 그리고 높은 타당성을 제공합니다. 본 논문은 이러한 접근 방식이 실패가 중간 구성 요소에 분산되어 있고 추적 가능한 단계별 모니터링이 필요한 프로덕션 AI 파이프라인에 특히 필수적이라고 결론짓습니다.

인정된 한계점:

• 평가는 점수 산정을 위해 단일 judge-model 패밀리에 의존하였으므로, 정렬 편향(alignment bias)이 발생할 가능성이 있습니다.
• 비교된 시스템들은 엄격하게 상호 비교 가능하지 않습니다 (Litmus는 제로 레이블 설계 방식이며, 베이스라인은 레이블 피팅 또는 루브릭 생성 방식입니다).
• 커버리지 메트릭은 포트폴리오 크기에 따라 단조 증가하며, 참조된 우려 사항 목록은 저자들에 의해 작성되었습니다.
• 실무자 명확화 질문의 엔드 투 엔드(end-to-end) 이점에 대해서는 추가적인 인간 연구가 필요합니다.