Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning

기술 요약: 고위험 AI를 위한 결정론적 의사결정

문제 정의: 개입 편향(Intervention Bias)과 평가 격차(Evaluation Gap)
본 논문은 고위험 교육 상담에 배치된 제로샷 대규모 언어 모델(LLM) 에이전트에서 발생하는 치명적인 실패 모드인 **개입 편향(intervention bias)**을 식별한다. 작업 특화 훈련 없이 이러한 에이전트들은 연구자가 정의한 사후 최적(hindsight-optimal) '오라클(oracle)' 정책이 '무작위(inaction)'를 명령할 때도 체계적으로 개입(예: 튜터링, 리마인더 제공)을 권고한다. Open University Learning Analytics Dataset(OULAD)을 사용한 연구에서, 제로샷 GPT-4o는 56일 차에 학생의 73%에게 개입을 권고했으나, 오라클 정책은 70.1%를 개입 불필요 대상으로 지정했다. 이는 43퍼센트 포인트의 거짓 양성(false-positive) 비율을 발생시키며, 대규모 교육 기관에서 수천 건의 불필요한 상담 연락을 생성하여 시스템의 신뢰도를 떨어뜨리고 경보 피로(alert fatigue)를 유발한다.

나아가, 본 논문은 **평가 격차(Evaluation Gap)**를 식별한다. 표준적인 LLM-as-judge 프레임워크(예: DeepEval G-Eval)는 구조적으로 이러한 편향에 눈이 멀어 있다. 이러한 프레임워크는 유창성, 일관성, 정교함을 보상하지만(이는 과잉 처방하는 시스템들이 보이는 특성이다), 잘못된 결정 품질에 대해서는 벌점을 부과하지 못한다. 결과적으로, 결과 정확도가 가장 낮은 시스템이 가장 높은 평가 점수를 받을 수 있으며, 이는 순차적 상담 작업에서 인지된 성능과 실제 성능 사이의 위험한 괴리를 만든다.

방법론: EAV-DT 파이프라인 및 6개 암(Arm) 절제 실험
이러한 문제를 해결하기 위해 저자들은 비정형 데이터 수집과 결정론적 의사결정을 분리하는 2단계 아키텍처를 제안하고 검증한다:

1. 1단계 (수집): 데이터를 유형화된 고정 차원의 엔티티-속성-값(Entity-Attribute-Value, EAV) 상태 벡터로 정규화한다. 본 연구에서 1단계는 추출 노이즈로부터 의사결정 로직을 격리하기 위해, 구조화된 OULAD CSV 필드를 12차원 벡터로 결정론적 매핑하는 방식으로 구현된다.
2. 2단계 (의사결정): **디시전 트랜스포머(Decision Transformer, DT)**가 EAV 상태 벡터 위에서 작동한다. DT는 소규모(624k 파라미터)의 오프라인 학습 모델로, 상태와 "Return-to-Go(RTG)" 스칼라 값을 입력받아 출력 로짓(logits)에 대한 결정론적 argmax를 통해 개입 행동을 매핑한다.

본 연구는 네 가지 시간적 절단점(14일, 28일, 56일, 112일)에 대해 800명의 학생을 대상으로 6개 암(arm) 절제 설계를 적용한다:

• 암 A & B: 상용 RAG (벡터 기반) 및 SQL 증강 RAG를 사용하는 GPT-4o.
• 암 C: EAV 상태 벡터를 직접 GPT-4o에 전달하여 의사결정 수행.
• 암 D & E: EAV 상태 벡터를 ONNX 디시전 트랜스포머가 처리 (암 E는 서사 생성을 위해서만 로컬 CPU 네이티브 LLM 사용).
• 암 F: DT와 동일한 오라클 레이블로 학습된 지도 학습 기반 XGBoost 분류기로서, 테이블 형태의 ML 베이스라인 역할을 수행.

주요 기여 및 결과

1. 개입 편향의 정량화:
   제로샷 LLM 암(A, B, C)은 체계적인 과잉 처방을 보인다. 56일 차에 암 C(GPT-4o + EAV)는 오라클 대비 43.6 퍼센트 포인트 더 많이 과잉 처방했다. 10,000명 규모의 기관에서는 한 주기당 약 4,300건의 불필요한 연락이 발생하는 것과 같다. 반면, 지도 학습 암(D, E, F)은 거의 제로에 가까운 캘리브레이션 오류를 보이며 개입 편향을 성공적으로 제거했다.

2. 지도 정책 학습을 통한 편향 제거:
   궤적 조건부(trajectory-conditioned) 디시전 트랜스포머(암 D/E)와 스냅샷 XGBoost 분류기(암 F) 모두 높은 전문가 정책 충실도(Expert Policy Fidelity, EPF)를 달0달성했다.

• 암 D/E (Corrected v3): 14일 차에 99.8%, 112일 차에 95.4%의 EPF를 달성했으며, 5가지 모든 액션 클래스(reduce_load와 같은 희귀 클래스 포함)에 대해 매크로-F1 79%, 매크로-재현율 85%를 기록했다.
• 암 F (XGBoost): 14일 차에는 99.8%를 달성했으나 112일 차에는 89.9%로 저하되었으며, 이는 DT의 궤적 조건부 방식이 장기적인 순차 데이터에 대해 아키텍처적 이점을 제공함을 시사한다.
• 비교: DT는 대부분의 절단점에서 제로샷 LLM 암(47~67% EPF) 및 다수 클래스 베이스라인을 크게 능가했다.

3. 결정론 및 감사 가능성(Auditability):
   암 D와 E는 ONNX argmax의 수학적 결정론 덕분에 0%의 액션 플립(action flip) 비율을 달성했다. 반면, LLM 암들은 비제로(non-zero) 플립 비율을 보였다 (암 A: 2.9%, 암 B: 0.8%, 암 C: 0.2%). 이는 규제 환경에서 감사 추적(audit trail)을 신뢰할 수 없게 만든다.

4. 하드웨어 주권 및 지연 시간:
   이 아키텍처는 제로-이그레스(zero-egress), CPU 네이티브 추론을 가능하게 한다.

• 지연 시간: ONNX DT 의사결정 단계는 일반적인 CPU에서 5ms 미만으로 실행되며, 이는 제로샷 LLM 의사결정(암 C)보다 454.8배, SQL-RAG 파이프라인(암 B)보다 2,500배 빠른 속도를 나타낸다.
• 비용: 암 E(로컬 Granite 4.0 Small)는 API 비용 $0.00와 데이터 이그레스 제로를 기록하며 FERPA/GDPR 요구사항을 충족하는 동시에, 클라우드 기반 암 D의 의사결정 충실도와 대등한 성능을 보였다.
• 재학습: DT는 단일 CPU에서 4분 이내에 새로운 결과 데이터로 재학습될 수 있어, GPU 의존성 없이 정책을 핫스왑(hot-swapping)할 수 있다.

5. 평가 격차:
   본 연구는 DeepEval G-Eval의 순위가 결과 검증된 정확도와 직교(orthogonal)함을 확인한다. DeepEval은 SQL-RAG 암(B)이 벡터 RAG 암(A)보다 결정 정확도가 훨씬 낮음에도 불구하고(14일 차 기준 47.5% vs 65.4%), 암 B를 더 높게 평가했다. 이는 유창성 기반 평가가 순차적 개입에서의 결정 품질에 대한 신뢰할 수 있는 대리 지표가 아님을 입증한다.

의의 및 범위
본 논문은 제로샷 LLM 배포가 '아무것도 하지 않는 것'이 유효하고 필요한 행동인 보수적이고 고위험인 상담 작업에 대해 구조적으로 미조정(miscalibrated)되어 있음을 입증한다고 주장한다. 주요 기여는 (DT 또는 XGBoost를 통한) 지도 정책 학습이 결과 레이블 데이터로 학습될 때 개입 편향을 안정적으로 제거한다는 것을 경험적으로 검증한 것이다.

저자들은 EAV-DT 파이프라인을 "살아있는 플라이휠(living flywheel)"로 제안한다. 즉, 비정형 데이터가 유형화된 상태(EAV)로 정규화되고, 결정론적이고 5ms 미만의 의사결정 모델(DT)로 컴파일되며, 몇 분 안에 오프라인에서 재학습되는 시스템이다. 이 아키텍처는 에이전틱 RAG(Agentic RAG)의 지연 시간과 확률성을 대체하여, 주권이 있고 감사 가능하며 비용이 들지 않는 의사결정 엔진을 제공한다.

겸손 및 한계
저자들은 본 연구가 2단계(통제된 구조적 EAV 입력에 대한 의사결정 품질)만을 검증한다는 점을 명시한다.

• 엔드 투 엔드 비정형 주장 없음: 본 연구는 전체 파이프라인이 가공되지 않은 원시 비정형 데이터에 대해 작동한다고 주장하지 않는다. 1단계 추출 노이즈(환각, 스키마 드리프트 등) 문제는 후속 연구로 미루어 두었다.
• 오라클 대리 모델: 93~99%의 높은 충실도는 연구자가 정의한 사후 규칙과의 일치도를 나타내는 것이지, 반드시 실제 인간 상담사나 노이즈가 섞인 실제 입력에 대한 초월적 일반화를 의미하는 것은 아니다.
• 평가 격차: LLM-as-judge 프레임워크가 개입 편향을 감지하지 못한다는 발견은 순차적 개입이라는 특정 도메인의 실패로 제시된 것이지, 모든 작업에 대한 LLM 심사관의 일반적인 비판이 아니다.

요약하자면, 본 논문은 고위험 순차적 의사결정을 위해 필요한 'RAG-대체물'은 더 나은 프롬프트나 더 큰 모델이 아니라, 결정론적 정책 학습과 서사 생성을 분리하여 캘리브레이션, 감사 가능성 및 주권을 보장하는 분리된 아키텍처라고 주장한다.