기술 요약: 최종 답변을 넘어: 도구 증강 에이전트의 추론 궤적 평가

문제 제기

대규모 언어 모델 (LLM) 의 최근 발전은 내재적 한계를 극복하기 위해 외부 도구를 활용할 수 있는 도구 증강 에이전트의 개발을 촉진했습니다. 다양한 벤치마크 (예: GTA, m&m's) 가 에이전트 성능을 측정하기 위해 존재하지만, 현재 평가 방법론은 주로 정답 일치 (Answer Match) 지표에 국한되어 있습니다. 이러한 방법들은 최종 출력이 정답과 일치하는지 여부만을 검증하며, 효율성, 환각, 적응성 등 추론 궤적의 중요한 측면들을 간과합니다.

저자들은 동일한 최종 정확도를 달성한 에이전트라도 추론의 질이 극적으로 다를 수 있다고 주장합니다. 한 에이전트는 최소한의 단계로 작업을 효율적으로 해결할 수 있는 반면, 다른 에이전트는 불필요한 과정에 관여하거나 환각을 생성하거나 도구를 사용할 수 없을 때 적응하지 못할 수 있습니다. 또한, 기존 평가 접근법은 종종 에이전트의 궤적을 단일, 사전 정의된 정답 궤적과 비교하는 데 의존합니다. 이는 하나의 쿼리에 대해 여러 개의 유효한 궤적이 존재할 수 있기 때문에 문제가 됩니다. 모든 유효한 경로를 주석하는 것은 비용이 과도하게 많이 들고, 유효한 대안 솔루션을 불필요하게 처벌할 수 있기 때문입니다. 더 나아가 표준 LLM 기반 평가자는 이러한 정답 참조 없이 긴 복잡한 컨텍스트를 효과적으로 평가하는 데 어려움을 겪습니다.

방법론: TRACE 프레임워크

이러한 한계를 해결하기 위해 본 논문은 도구 증강 LLM 의 다차원 평가를 위해 설계된 참조 없는 프레임워크인 TRACE(궤적 기반 추론 평가 및 종합 평가) 를 소개합니다.

핵심 구성 요소

1. 증거 은행 ($E$): TRACE 의 핵심 구성 요소는 동적으로 구축된 증거 은행입니다. 에이전트가 도구와 상호작용할 때마다 각 단계는 행동, 입력, 관찰의 튜플 ($e_t = (a_t, i_t, o_t)$) 을 생성합니다. 이러한 요소들은 증거 은행 ($E_t$) 에 누적되어 에이전트의 상호작용 이력에 대한 객관적이고 구조화된 기록을 만듭니다. 이러한 구조화된 누적을 통해 평가자는 비구조화된 전체 대화에 의존하지 않고 논리적 일관성을 평가할 수 있습니다.
2. 평가 지표: TRACE 는 세 가지 중요한 차원을 통해 궤적을 평가합니다:
   • 효율성: 올바른 최종 답변이 생성된 후 사후적으로 측정됩니다. LLM 평가자는 수집된 전체 증거 ($E_n$) 에서 논리적으로 답변을 추론하는 데 필요한 증거의 최소 부분집합 ($E_{min}$) 을 식별합니다. 효율성 점수는 비율 $|E_{min}| / |E_n|$입니다. 이 지표는 정답 최적 경로를 요구하지 않고 불필요한 단계를 정량화합니다.
   • 환각: 단계별로 평가됩니다. 각 생각 ($th_t$) 에 대해 프레임워크는 추론이 이전 단계의 증거 은행 ($E_{t-1}$) 에 근거하는지 확인합니다. 축적된 증거로 뒷받침되지 않는 정보나 가정을 포함하는 생각은 환각으로 플래그가 지정됩니다.
   • 적응성: 에이전트가 도구 실행 실패 (예: "사용 불가능한 도구" 오류) 를 마주칠 때 측정됩니다. 프레임워크는 에이전트의 후속 생각이 실패를 인정하고 합리적인 대안 전략 (예: 다른 도구 또는 수정된 접근법) 을 선택하는지 평가합니다.

메타 평가 데이터셋

TRACE 를 검증하기 위해 저자들은 Meta-GTA와 Meta-m&m's를 구축했습니다. 이러한 데이터셋은 기존 벤치마크 (GTA 및 m&m's) 를 다음과 같이 확장합니다:

• 단일 쿼리에 대해 여러 개의 유효한 정답 궤적을 생성합니다.
• 비효율성, 환각, 적응성 시나리오가 포함된 결함 있는 궤적을 전략적으로 주입합니다.
• 각 단계를 비효율성, 환각, 적응성에 해당하는 점수로 라벨링합니다.

주요 기여

1. 참조 없는 평가 프레임워크: TRACE 는 단일 정답 경로에 의존하지 않고 에이전트의 추론 과정의 논리적 건전성을 평가하는 효과적인 방법론을 제공하며, 작은 오픈 소스 LLM 을 사용하더라도 더 유연하고 현실적인 성능 분석을 가능하게 합니다.
2. 다차원 평가: 이 프레임워크는 효율성, 환각, 적응성 등 중요하지만 종종 간과되는 지표에 중점을 둔 종합적인 평가 방법론을 도입하여 최종 정확도를 넘어 에이전트 능력에 대한 전체적인 관점을 제공합니다.
3. 실증적 통찰: 이 논문은 복잡한 도구 사용 작업에 대한 현재 LLM 에이전트 성능에 대한 심층 분석을 제공하여 경향을 드러내고 개선 전략을 제안합니다.

결과

저자들은 다양한 독점 및 오픈 소스 모델을 사용하여 메타 평가 데이터셋과 실제 세계 도구 증강 작업 (GTA 데이터셋) 에서 광범위한 실험을 수행했습니다.

• 메타 평가 정확도: TRACE 는 증거 은행 없이 전체 궤적을 평가하는 단순한 "LLM-as-a-Judge" 접근법보다 훨씬 뛰어난 성능을 발휘합니다. 특히, TRACE 는 단순한 접근법이 어려움을 겪는 작은 오픈 소스 모델 (예: Llama-3.1-8B) 을 사용하여 정확한 평가를 가능하게 합니다. 증거 은행 메커니즘을 통해 이러한 작은 모델들은 더 큰 독점 모델과 비교 가능한 성능을 달성하면서도 평가 시간과 비용을 절감할 수 있습니다.
• 궤적 다양성에 대한 강건성: 단일 작업에 대해 여러 개의 유효한 궤적이 존재할 때에도 TRACE 는 기존 방법 (예: 상태 일관성을 측정하는 PIPA) 과 달리 높은 정확도와 낮은 표준 편차를 유지하여 궤적 다양성에 대한 강건성을 입증합니다.
• 에이전트 성능 분석: TRACE 를 실제 에이전트에 적용한 결과, 전체 정확도가 유사한 모델들도 추론의 질에서 상당한 성능 차이를 보였습니다:
  • Qwen-72B는 높은 효율성을 보였으나 GPT-4.1에 비해 환각률이 더 높았습니다.
  • o3-mini는 놀라울 정도로 낮은 환각률을 보였으나 적응성 (도구 실패에서 회복하는 능력) 에서는 어려움을 겪었습니다.
  • 작은 모델들 (예: Llama-8B) 은 더 높은 지시 오류와 낮은 효율성을 보였으며, 이는 배포 시 수정 메커니즘이 필요함을 시사합니다.
  • 토큰 소비: 출력 토큰 수/턴과 전체 정확도 사이에 음의 상관관계가 관찰되었으며, 이는 과도한 추론 단계가 종종 노이즈를 도입하여 성능을 저하시킨다는 것을 시사하며, 특히 작은 모델에서 두드러집니다.

중요성

이 논문은 최종 답변 정확도에만 의존하는 것은 근본적인 추론 과정의 질에 대한 중요한 차이를 흐리게 한다고 주장합니다. TRACE 를 도입함으로써 저자들은 다음과 같은 도구를 제공합니다:

• 실패 모드 진단: 환각, 비효율성, 또는 적응성 부족으로 인해 실패하는 에이전트를 구분합니다.
• 모델 선택 가이드: 단일 정확도 지표가 아닌 특정 우선순위 (예: 효율성 대 신뢰성 우선) 에 따라 모델을 선택할 수 있도록 합니다.
• 에이전트 개발 개선: 작은 모델의 지시 따르기 개선이나 향상된 적응성 메커니즘과 같이 도구 증강 에이전트의 낮은 성능 원인에 대한 실행 가능한 통찰을 제공합니다.

이 연구는 더 효과적이고 신뢰할 수 있는 도구 증강 에이전트를 개발하기 위해서는 최종 답변뿐만 아니라 추론 궤적을 검사하는 것이 에이전트 능력의 진정한 평가에 필요함을 강조합니다.