Disagreement reliability routing for multimodal large language model evidence pipelines with imperfect counterfactual priors

기술 요약: 멀티모달 LLM 증거 파이프라인을 위한 불일치 신뢰성 라우팅 (Disagreement Reliability Routing)

문제 정의
멀티모달 거대 언어 모델(LLM) 증거 파이프라인은 종종 비대칭적 피드백 체제 하에서 작동한다. 시스템은 여러 후보 조치(remediation actions)에 대해 규칙 기반의 밀집된 반사실적 결과(counterfactual outcomes)를 생성할 수 있지만, 실제 운영 로그에는 실행된 단 하나의 조치에 대한 사실적 결과(factual outcome)만을 기록한다. 규칙 기반 결과를 정답(ground truth)으로 취급하는 것은 라우팅 결정의 보정(calibration) 오류를 야기할 수 있으며, 이를 완전히 폐기하는 것은 구조화된 운영 지식을 낭비하는 결과를 초래한다. 또한, 기존의 라우팅 문헌은 대개 완전 정보 감독(full-information supervision)이나 알려진 행동 정책(behavior policy)을 가진 밴딧 피드백(bandit feedback)을 가정하지만, 생산 로그는 결정론적 점수 벡터의 아그맥스(argmax)만을 기록하며 확률적 선택(stochastic selection)을 수행하지 않으므로 위 조건들을 충족하지 못한다. 이는 결함이 있는 규칙 사전 지식(rule priors)을 절차적 지식과 실제 진실을 혼동하지 않으면서 어떻게 학습에 활용할 것인가라는 과제를 제기하며, 특히 누락된 데이터 채널과 상충하는 신호가 규칙의 신뢰성에 영향을 미칠 때 더욱 그러하다.

방법론: EviRoute-DR
저자들은 규칙 사전 지식이 실패하는 시점을 학습하고, 교정된 규칙 전문가(corrected-rule experts)와 직접적인 사실적 전문가(direct factual experts)를 융합하도록 설계된 라우팅 프레임워크인 EviRoute-DR(Disagreement-Reliability)을 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. 불일치 교정 ($q_\theta$):
   시스템은 규칙 레이블을 진실로 취급하는 대신, 문맥($x$)과 조치($a$)가 주어졌을 때 규칙 사전 지식이 틀릴 확률을 추정하는 "불일치 전문가(disagreement expert)"를 학습한다.

   • 대상: $D_i = 1\{Y_i(A_i) \neq r_i(A_i)\}$, 여기서 $Y$는 사실적 결과이고 $r$은 규칙 사전 지식이다.
   • 교정: 규칙 교정 성공 확률은 $\hat{p}^R_\theta(x, a) = r(x, a)[1 - q_\theta(x, a)] + [1 - r(x, a)]q_\theta(x, a)$로 계산된다. 이는 불일치 확률이 높으면 규칙 레이블을 반전시키고, 낮으면 규칙을 신뢰하게 함으로써 효과적으로 작동한다.

2. 신뢰도 조건부 스태킹 (Reliability-Conditioned Stacking):
   메타 학습자는 두 가지 브랜치의 예측을 결합한다:

   • 직접 사실적 전문가 (Direct Factual Experts): 케이스당 단 하나의 사실적 결과만을 사용하여 학습된 모델들(로지스틱 회귀, 랜덤 포레스트).
   • 규칙 교정 전문가 (Rule-Correction Experts): 불일치 확률을 예측하도록 학습되어 교정된 성공 확률을 생성하는 모델들.
   • 신뢰도 특징량 (Reliability Features): 메타 학습자는 누락 횟수, 충돌 점수, 로그된 생산 조치 점수, 조치 비용을 포함한 추가적인 신호들을 입력받는다.
   • 최종 점수는 정규화된 로지스틱 결합 형태인 $\hat{p}^{ER}(x, a) = \sigma(\beta_0 + \beta^\top z(x, a))$이다.

3. 비용 회피형 라우팅 (Cost-Averse Routing):
   시스템은 $\pi_\lambda(x) = \arg\max_{a \in A} [\hat{p}^{ER}(x, a) - \lambda c(x, a)/20]$를 선택한다. 여기서 $\lambda$는 비용 회피 매개변수이며, $c(x, a)$는 복합 유틸리티 비용(실패 손실, 검토 노력, 지연 시간 등)이다.

실험 설정

• 데이터: 각 케이스당 7개의 후보 조치(총 14,700개 케이스-조치 레코드)를 포함하는 eBay의 2,100개 생산 케이스.
• 피드백: 케이스당 정확히 하나의 사실적 결과가 존재하며, 나머지 6개 조치는 평가 또는 교정 용도로만 사용되는 규칙 기반 반사실적 주석(annotation)을 가진다.
• 분할 (Splits): 600개의 사실적 훈련 케이스, 200개의 검증 케이스(메타 학습자 적합용), 1,300개의 홀드아웃 테스트 케이스(메인, 시계열, 하드, 워크플로우 변화 코호트 포함).
• 베이스라인: 규칙 사전 지식, 직접 로지스틱 회귀, 직접 랜덤 포레스트, 그리고 다양한 규칙 교정 변형 모델들.
• 제약 사항: 저자들은 로그된 조치가 항상 점수 벡터의 아그맥스(argmax)이므로, 역확률 가중치(IPS)나 이중 강건(DR) 인과 관계 주장을 명시적으로 피한다. 즉, 행동 성향(behavior propensities)을 식별할 수 있는 확률적 선택 메커니즘이 없다.

주요 결과

• 사실적 예측: 1,300개의 홀드아웃 사실적 케이스에 대해, EviRoute-DR은 AUC 0.926 및 Brier 점수 0.0910을 달取得했다.
  • 이는 직접 로지스칭 회귀(AUC 0.921, Brier 0.0971)보다 우수한 성능을 보였으며, 통계적으로 유의미한 Brier 개선치(95% CI 0.0021–0.0092)를 나타냈다.
  • 랜덤 포레스트(AUC 0.924, Brier 0.922)에 대해서는 점 추정치상 소폭의 개선을 보였으나, 쌍체 붓스트랩 구간(paired bootstrap intervals)이 0을 포함하므로 랜덤 포레스트보다 우월하다는 것이 통계적으로 확립되지는 않았다.
• 절제 연구 (Ablation): "규칙 브랜치"(교정된 전문가)를 제거하면 성능이 저하되었으며, 이는 불일치 교정이 확률적 정확도에 크게 기여함을 확인시켜 준다.
• 반사실적 재생 (Counterfactual Replay): 7개 조치의 전체 장부를 사용한 2차 평가에서, EviRoute-DR은 평균 비용 12 단위에서 약 0.815의 해결률을 달성하였으며, 이는 원본 규칙 사전 지식의 약 0.786과 비교된다. 이는 적절한 운영 비용에서 더 나은 비용-해결 경계(cost-resolution frontier)를 보여준다.
• 민감도: 재생 결과는 실행되지 않은 조치들에 집중된 주석 오류에 민로한 것으로 나타났으며, 이는 재생 결과가 기술적(descriptive)이며 제공된 주석의 품질에 의존한다는 점을 강조한다.

의의 및 주장
본 논문은 EviRoute-DR을 부분적 사실 피드백 하에서의 증거 라우팅을 위한 실용적인 방법론으로 규정한다. 주요 기여는 다음과 같다:

1. 비대칭성 공식화: 하나의 사실적 결과가 불완전한 규칙 기반 사전 지식과 공존하는 라우팅 문제를 정의하였다.
2. 불일치 인지 융합: 규칙 사전 지식의 오류 구조(불일치)를 학습하는 것이 직접 학습보다 확률적 정확도를 어떻게 개선하는지 입증하였다.
3. 엄격한 인과적 경계: 저자들은 자신들의 결과가 인과적 정책 평가(OPE)가 아님을 강조한다. 로그가 확률적 선택 가정을 지원하지 않기 때문에, 인과적 개입 효과를 주장하는 대신 사실적 예측을 개선하고 주석에 의존하는 2차 재생 분석을 제공하는 데 집중한다.

저자들은 불일치 인지 신뢰도 융합이 누락된 채널과 신호 충돌로 인해 규칙 사전 지식이 결함이 될 수 있는 멀티모달 시스템에서 유효한 접근법임을 결론지으며, 이를 통해 운영 구조를 정답으로 간주하지 않고도 활용할 수 있는 방법을 제시한다.