기술 요약: 최종 답변을 넘어: 다중 에이전트 산업 워크플로우에서의 궤도 수준 환각 감사

1. 문제 제기

정적 대규모 언어 모델 (LLM) 에서 자율적 에이전트 시스템으로의 전환은 **궤도 수준 환각 (trajectory-level hallucination)**이라는 치명적인 실패 모드를 도입합니다. 기존 벤치마크 (예: TruthfulQA, AgentBench) 는 환각을 주로 최종 출력의 "원샷" 사실 오류로 평가하지만, 다중 에이전트 워크플로우의 순차적이고 도구 매개적인 사고 - 행동 - 관찰 (Thought-Action-Observation, TAO) 사이클 내에서 발생하는 편차를 포착하지 못합니다.

데이터 센터 모니터링과 같은 산업 환경 (특히 AssetOpsBench 프레임워크 내) 에서 환각은 단순히 잘못된 답변이 아닙니다. 이는 에이전트 루프를 통해 전파되는 증거에서의 구조적 편차입니다. 이러한 편차는 절차적 건너뛰기, 이전 단계에서 잘못 참조된 개체, 또는 에이전트가 자신의 권한 범위를 벗어난 행위를 하는 범위 위반으로 나타날 수 있습니다. 인스턴스를 고립된 입력 - 출력 쌍으로 취급하는 현재 평가 패러다임은 시스템이 환경 오해로 인해 실패했는지, 아니면 존재하지 않는 상태를 고안해 냈는지 진단할 수 없습니다. 또한, 상호작용 루프에서의 환각 정의는 종종 논리 오류나 도구 실행 실패와 혼동되어 진단 분석에 필요한 세분성이 부족합니다.

2. 방법론

저자들은 다중 에이전트 산업 워크플로우의 궤도 수준 환각을 감사하기 위해 설계된 Trajel이라는 데이터셋과 평가 프레임워크를 소개합니다. 방법론은 네 가지 핵심 구성 요소를 중심으로 구조화되어 있습니다.

A. 궤도 구조 및 형식화

워크플로우는 $\Phi = (M, C, T_{tool})$로 구성된 복합 AI 시스템으로 모델링됩니다. 여기서 $M$은 LLM 기반 에이전트, $C$는 오케스트레이터, $T_{tool}$은 도구 집합을 나타냅니다. 실행은 $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$로 표현되는 단계들의 시퀀스로 진행되며, 여기서 $\tau_t$는 사고, $\alpha_t$는 행동, $\omega_t$는 관찰입니다. 궤도 $T$는 이러한 단계들의 순서화된 추적입니다.

B. 궤도 인식 환각 분류 체계

본 논문은 TAO 추적에 대한 구조적 술어로서 환각을 정의하며, 다섯 가지 유형으로 분류합니다:

1. 사실적 ($h_F$): 현재 단계의 실제 데이터와 모순되는 주장.
2. 참조적 ($h_R$): 궤도 역사에 존재하지 않는 개체나 이전 결과를 참조함 (모델이 결코 발생하지 않은 일을 "기억"함).
3. 논리적 ($h_L$): 전제가 정확하더라도 전제에서 도출되지 않는 추론.
4. 절차적 ($h_P$): 작업 명세에서 요구되는 단계를 건너뛰거나, 재배열하거나, 조작하거나, 존재하지 않는 단계가 완료되었다고 주장함.
5. 범위 ($h_S$): 에이전트가 특정 운영 권한 범위 밖에서 행동하거나 주장함 (다중 에이전트 설정에 고유함).

C. 데이터셋 구축 (Trajel)

이 데이터셋은 6 가지 모델 구성과 42 가지 산업용 AssetOps 작업을 통해 생성된 225 개의 전문가 주석 달린 에이전트 궤도로 구성됩니다.

• 주석 프로토콜: 편향을 완화하기 위한 하이브리드 접근 방식을 사용합니다. 궤도는 먼저 LLM-as-a-Judge에 의해 평가된 후, LLM 의 판단에 접근하지 않은 두 기관 (IBM 과 컬럼비아 대학교) 의 맹검 인간 검토를 거칩니다.
• 라벨: 주석에는 환각 존재 여부, 유형 (멀티레이블), 추적 내 위치 (사고, 행동, 관찰, 응답), 그리고 자유 텍스트 근거가 포함됩니다.
• 통계: 인간이 식별한 환각률은 **68.3%**이며, 자동화 및 인간 판단 간의 코헨의 $\kappa$는 0.456입니다. 주목할 점은 환각 궤도의 **48.7%**가 동시에 여러 유형을 나타낸다는 것입니다.

D. 탐지 모델링 프레임워크

저자들은 서로 다른 컨텍스트 요구 사항을 해결하기 위해 세 가지 감독 탐지 패러다임을 벤치마크합니다:

1. 서브태스크 수준 분류 (BERT): 개별 단계 ($\tau_t, \alpha_t, \omega_t$) 를 작동하여 지역적 단서를 탐지합니다 (사실적 환각에 효과적).
2. 궤도 수준 NLI: 탐지를 궤도 역사가 전제이고 현재 단계가 가설인 추론 문제로 취급합니다 (참조적 및 논리적 환각을 대상으로 함).
3. 장기 컨텍스트 모델링 (Longformer): 절차적 및 범위 기반 환각과 같은 글로벌 구조적 위반을 탐지하기 위해 전체 직렬화된 궤도를 입력받습니다.

E. 신호 분석

이 연구는 환각에 대한 예측력을 결정하기 위해 실행 중 또는 직후에 관찰 가능한 실행 품질 신호 (작업 완료, 데이터 검색 정확도, 결과 검증, 에이전트 시퀀스 정확도, 명확성 및 정당화) 를 조사합니다.

3. 주요 결과

A. 발생률 및 분류 체계

• 절차적 환각은 가장 흔한 실패 모드로, 식별된 실패의 **38.5%**를 차지합니다. 이는 출력 전용 평가에는 보이지 않습니다.
• 멀티레이블 복잡성: 환각 궤도의 거의 절반 (48.7%) 이 동시에 여러 유형을 포함하므로, 단일 레이블 분류보다 멀티레이블 형식이 필요하다는 것이 입증되었습니다.
• 모델 분산: 환각률은 모델 간에 극적으로 변하여 **52.4%**에서 **81.0%**까지 다양하며, 이는 서로 다른 아키텍처가 장기적 관점에서 근거를 유지하는 방식에 상당한 차이가 있음을 나타냅니다.

B. 탐지 성능

• LLM-as-a-Judge: 높은 이진 정확도 (F1 = 0.855) 를 달성하지만, 미묘한 유형을 체계적으로 잘못 분류합니다. 논리적 ($\kappa = 0.211$) 및 참조적 ($\kappa = 0.176$) 환각에 대한 인간과의 일치도는 크게 떨어집니다.
• 감독 모델: 미세 조정된 모델 (BERT, NLI, Longformer) 은 다수 클래스 베이스라인보다 개선되었지만, F1 점수에서 제로샷 LLM 저지를 따라가지 못합니다. 가장 우수한 감독 모델 (NLI) 은 0.689의 ROC-AUC 를 달성하여, 궤도 수준 환각 탐지가 현재 분류기에게는 여전히 해결되지 않은 과제임을 확인시켜 줍니다.
• 위치 특정: 환각은 가장 빈번하게 행동 (절차적 환각의 47.5%) 과 응답 (사실적 환각의 40.3%) 에 위치하며, 이는 추론을 도구 호출이나 출력 주장으로 변환하는 과정에서 실패가 종종 발생함을 시사합니다.

C. 예측 신호

이 연구는 **명확성과 정당화 (Clarity and Justification, CJ)**를 환각의 가장 강력한 단변량 예측자로 식별합니다.

• 명확하고 근거 있는 추론이 없는 궤도의 환각률은 **94.3%**인 반면, 고명확성 궤도의 경우 **9.1%**입니다.
• CJ 신호만으로도 AUC 0.908을 달성하여, 가장 잘 훈련된 분류기 (NLI, AUC = 0.689) 를 크게 능가합니다.
• 명확성과 결과 검증이 모두 부재할 때 환각률은 **97.1%**에 달하며, 이러한 신호가 에이전트 오케스트레이터를 위한 효과적인 "킬 스위치" 조건으로 작용할 수 있음을 시사합니다.

4. 중요성 및 주장

본 논문은 궤도 인식 탐지가 표준 사후 검증보다 훨씬 우수하다고 주장하며, 더 안전한 에이전트 배포를 위해 분류 체계에 기반한 평가가 필수적임을 강조합니다.

• 평가의 전환: 이 연구는 이진 "최종 답변" 검증을 넘어 에이전트 추적의 구조적 분석으로 이동하는 것이 필수적이라고 주장합니다. 정적 벤치마크의 현재 패러다임은 에이전트 루프의 시간적 및 상호작용적 역동성을 포착하지 못합니다.
• 진단 가치: 다섯 가지 유형의 분류 체계는 근거 실패를 추론 오류 및 제어 흐름 위반과 분리하여, 궤도에서 편향이 어디서 시작되었는지 진단하는 데 필요한 세분성을 제공합니다.
• 실용적 경로: 연구 결과는 제한된 궤도 데이터에 복잡한 감독 분류기를 훈련시키는 것보다 실행 품질 신호 (특히 명확성 및 정당화) 기반의 경량 런타임 모니터링이 실시간 환각 탐지를 위한 더 실용적이고 효과적인 경로임을 시사합니다.
• 한계: 저자들은 데이터셋이 단일 산업 도메인 (AssetOpsBench) 과 여섯 가지 모델 구성으로 제한되어 있음을 인정합니다. 가장 미묘한 유형 (논리적 및 참조적) 에 대한 주석자 간 합의는 여전히 중간 수준이므로, 더 풍부한 주석 프로토콜이 필요함을 나타냅니다. 감독 분류기 성능과 LLM 저지 성능 간의 격차는 하이브리드 아키텍처에 대한 향후 연구를 동기부여합니다.

결론적으로, Trajel 은 다중 에이전트 산업 워크플로우의 궤도 수준 환각을 감사하기 위한 최초의 체계적 프레임워크를 제공하며, 절차적 및 범위 기반 실패가 광범위하게 존재하며 종종 동시에 발생하고, 에이전트 실행 추적의 구조적 무결성을 존중하는 평가 방법이 필요함을 입증합니다.