기술 요약: 에이전틱 RAG 파이프라인을 위한 베이지안 불확실성 전파

문제 정의

해상 풍력(OSW) 유지보수 스케줄링과 같은 산업적 워크플로우에 대규모 언어 모델(LLM)을 통합하려면, 다단계 추론 파이프라인이 언제 실패할 수 있는지를 추정하는 신뢰할 수 있는 메커니즘이 필요합니다. 검색 증강 생성(RAG) 및 멀티 에이전트 아키텍처(MAA)는 검색된 지식에 응답을 근거하게 함으로써 해석성을 개선하지만, 순차적인 추론 단계 전반에서 불확실성이 어떻게 전파되는지는 명시적으로 모델링하지 않습니다. 에이전틱 RAG 시스템에서는 계획(planning), 검색(retrieval), 또는 평가(evaluation) 단계에서 도입된 불확실성이 워크플로우를 통해 연쇄적으로 작용하여 "추론 붕괴(reasoning collapse)", 의미적 표류(semantic drift), 그리고 신뢰할 수 없는 최종 응답을 초래할 수 있습니다. 블랙박스 형태의 기존 모델들은 출력 이면의 추론 과정에 대한 통찰력을 제한적으로 제공하므로, 의사결정 과정 전반의 확신도를 정량화할 수 있는 경량화된 런타임 모니터링 방법이 필요합니다.

방법론

저자들은 시스템을 순차적 의사결정 과정(개념적으로 부분 관측 마르코프 결정 과정, POMDP)으로 모델링하는 불확실성 인지 에이전틱 RAG 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 불확실성 신호 생성

파이프라인은 Planner(계획가), Evaluator(평가가), **Generator(생성가)**의 세 가지 에이전트로 구성됩니다. 각 단계는 특정 불확실성 신호를 생성합니다:

• 토큰 수준 엔트로피 (나이브 엔트로피): 생성된 토큰의 소프트맥스 확률 분포에서 도출됩니다. 시스템은 시퀀스의 로그 확률을 계산하고, 이를 길이에 따라 정규화하며, 확신도 특징($q_i$)으로 변환합니다. 이는 베이지안 네트워크의 사전 확률을 매개변수화하는 데 사용됩니다.
• 의미적 발산 (Semantic Divergence): 에이전트의 검색 쿼리가 원래의 정보 요구사항에서 벗어나는 "의미적 표류" 문제를 해결하기 위해, 시스템은 투영된 임베딩 공간에서 확정된 출력 분포와 재샘플링된 출력 분포 사이의 거리를 측정합니다. 이는 각 노드에서의 내재적 불확실성(Intrinsic Uncertainty, IU)을 정량화하기 위해 **와서스테인 거리(Wasserstein distance)**를 활용합니다 (UProp 프레임워크의 점별 상호 정보량과 유사함).
• Generator 자기 평가 ($P(True)$): Generator 에이전트는 응답을 생성한 후, 이진 질문("제공된 답변이 정확하다고 확신합니까?")에 답하도록 유도됩니다. 긍정적인 토큰에 할당된 확률은 감독된 인컨텍스트(in-context) 불확실성 추정치 역할을 합니다.

2. 베이지안 네트워크 (BN) 전파

이러한 신호들은 시스템 수준의 불확실성을 추정하기 위해 베이지안 네트워크를 통해 전파됩니다:

• 구조: 워크플로우는 Planner, Evaluator, Generator를 나타내는 노드로 구성된 유향 비순환 그래프(DAG)로 모델링됩니다.
• 로직: 네트워크는 "Overall(전체)" 노드를 위해 **결정론적 OR 게이트(deterministic OR gate)**를 사용합니다. 이는 파이프라인의 단일 노드라도 "FAIL"(불확실성이 0.5 임계값을 초과)로 간려되면 전체 시스템이 "FAIL"로 표시됨을 의미합니다.
• 추론: BN은 새로운 증거(불확실성 점수)가 도입됨에 따라 사후 확률을 업데이트하여, 어떤 특정 단계가 시스템 수준의 불확실성에 가장 크게 기여하는지 식별할 수 있게 합니다.

3. 실험 설정

본 프레임워크는 두 가지 멀티 홉 질의응답 벤치마크인 StrategyQA와 HotpotQA를 통해 개념 증명(proof-of-concept)으로 평가되었습니다.

• 모델: GPT-3.5-Turbo 및 GPT-4.1-Nano.
• 지표: 성능은 판별을 위한 AUROC(Area Under the Receiver Operating Characteristic Curve), 선택적 예측을 위한 AUARC(Area Under the Accuracy-Rejection Curve), ECE(Expected Calibration Error), 그리고 보정(calibration)을 위한 Brier Score를 기준으로 평가되었습니다.
• 베이스라인: 결과는 UProp 프레임워크와 비교되었습니다.

주요 기여

1. 아키텍처: 다단계 추론 과정에서 의미적 발산 및 자기 평가와 같은 상호 보완적인 불확실성 신호를 생성하는 경량 모니터링 아키텍처를 제시했습니다.
2. 전파 모델: 노드 수준의 불확실성을 해석 가능한 시스템 수준의 확신도로 집계하고, 실패 지점을 짚어낼 수 있는 베이지안 네트워크 기반 모델을 구축했습니다.
3. 실증적 평가: 표준 불확실성 정량화 지표를 활용하여, 다양한 추론 복잡도와 모델 크기에 따른 베이지안 전파의 강점과 한계를 보여주는 비교 연구를 수행했습니다.

결과

연구 결과는 벤치마크의 복잡성에 따라 대조적인 양상을 보였습니다:

• HotpotQA (높은 복잡도): 베이지안 전파가 매우 효과적이었습니다. 불확실성이 여러 추론 단계를 거치며 축적되었으며, Overall BN은 개별 노드 및 UProp 베이스라인과 비교하여 경쟁력 있거나 더 우수한 성능을 달연했습니다. 작업 난이도가 높아짐에 따라 시스템은 개선된 판별력(AUROC)과 보정 성능(ECE, Brier Score)을 보여주었습니다.
• StrategyQA (낮은 복잡도): 본 접근법의 한계가 드러났습니다. Generator의 자기 평가 신호가 가장 강력한 개별 지표였던 반면, Planner와 Evaluator의 신호는 무작위(random)에 가까운 성능을 보였습니다. 결과적으로 결정론적 OR 게이트가 신뢰할 수 없는 상위 노드로부터 노이즈를 전파하여, Overall BN이 일부 지표(예: GPT-3.5-Turbo의 AUROC)에서 Generator 단독 성능보다 낮게 나타나는 현상이 발생했습니다.
• 보정 vs. 판별: 결정론적 OR 게이트는 보수적인 편향을 유발하여 StrategyQA에서 실패 확률을 과대평가(낮은 보정 성능)하게 만들었으나, 이는 잠재적으로 위험 회피 측면에서 유리할 수 있습니다. HotpotQA의 경우 보정 성능이 크게 향려되었는데, 이는 본 프레임워크가 불확실성이 실제로 축적되는 작업에 더 적합함을 시사합니다.

의의 및 주장

본 논문은 베이지안 불확실성 전파를 에이전틱 RAG 시스템을 모니터링하기 위한 유망하지만 예비적인 메커니즘으로 규정합니다.

• 핵-결과: 이 방법은 불확실성이 여러 추론 단계에 걸쳐 자연스럽게 축적될 때(HotpotQA에서 확인됨) 가장 효과적입니다. 이러한 시나리오에서는 신호들을 결합하는 것이 개별 노드의 추정치를 넘어서는 예측 가치를 제공합니다.
• 한계 인정: 저자들은 현재 프레임워크가 신뢰할 수 없는 상위 노드(예: StrategyQA에서의 Planner)의 가중치를 낮출 수 없는 결정론적 OR 게이트와 $P(True)$ 신호의 보수적인 보정에 의해 제약을 받는다는 점을 명시적으로 언급했습니다.
• 향ut 방향: 이 연구는 즉각적인 산업 현장 배포를 주장하지 않습니다. 대신, 일반 목적의 벤치마크가 아닌 도메인 특화 검색 코퍼스를 사용하는 해상 풍력(OSW) 유지보수 의사결정 지원과 같은 특정 산업 분야에서의 검증이 필요한 개념 증명으로 본 연구를 정의합니다. 저자들은 향-후 연구가 적응형 베이지안 구조(예: noisy-OR 게이트)와 식별된 한계를 해결하기 위한 개선된 보정 기법에 집중해야 한다고 제안합니다.