Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning

Resumen Técnico: Decisiones Deterministas para IA de Alto Riesgo

Planteamiento del Problema: Sesgo de Intervención y la Brecha de Evaluación
El artículo identifica un modo de fallo crítico en los agentes de Modelos de Lenguaje de Gran Escala (LLM) de disparo cero (zero-shot) desplegados para el asesoramiento educativo de alto riesgo: el sesgo de intervención. Sin un entrenamiento específico para la tarea, estos agentes recomiendan sistemáticamente la acción (por ejemplo, tutoría, recordatorios) cuando una política "oráculo" definida por investigadores y basada en la retrospectiva exige la inacción. En un estudio utilizando el Conjunto de Datos de Analítica de Aprendizaje de la Open University (OULAD), el GPT-4o zero-shot recomendó la intervención para el 73% de los estudiantes en el día 56, mientras que la política oráculo designó que el 70.1% no requería acción. Esto resulta en una tasa de falsos positivos del 43 de puntos porcentuales, lo que genera miles de contactos innecesarios de asesores en instituciones grandes, erosionando la credibilidad del sistema y causando fatiga por alertas.

Además, el documento identifica una Brecha de Evaluación: los marcos estándar de "LLM como juez" (por ejemplo, DeepEval G-Eval) son estructuralmente ciegos a este sesgo. Estos marcos premian la fluidez, la coherencia y la elaboración —rasgos exhibidos por sistemas que sobreprescriben— mientras no penalizan la calidad de la decisión incorrecta. En consecuencia, los sistemas con la peor precisión de resultados pueden recibir las puntuaciones de evaluación más altas, creando una desconexcción peligosa entre el rendimiento percibido y el real en tareas de asesoramiento secuencial.

Metodología: El Pipeline EAV-DT y la Ablación de Seis Brazos
Para abordar estos problemas, los autores proponen y validan una arquitectura de dos etapas que desacopla la ingesta de datos no estructurados de la toma de decisiones determinista:

1. Etapa 1 (Ingesta): Los datos se normalizan en un vector de estado Entidad-Atributo-Valor (EAV) de dimensión fija y tipada. En este estudio, la Etapa 1 se realiza mediante un mapeo determinista de los campos CSV estructurados de OULAD a un vector de 12 dimensiones para aislar la lógica de decisión del ruido de extracción.
2. Etapa 2 (Decisión): Un Transformer de Decisión (DT) opera sobre el vector de estado EAV. El DT es un modelo pequeño (624k parámetros), entrenado offline, que mapea el estado y un escalar de "Retorno-a-Ir" (RTG) a una acción de intervención mediante un argmax determinista sobre los logits de salida.

El estudio emplea un diseño de ablación de seis brazos sobre 800 estudiantes en cuatro cortes temporales (días 14, 28, 56, 112):

• Brazos A y B: RAG Comercial (Vectorial) y RAG aumentado con SQL utilizando GPT-4o.
• Brazo C: Vector de estado EAV presentado directamente a GPT-4o para la toma de decisiones.
• Brazos D y E: Vector de estado EAV procesado por el Decision Transformer en ONNX (el Brazo E utiliza un LLM local nativo de CPU solo para la generación narrativa).
• Brazo F: Un clasificador supervisado XGBoost entrenado con las mismas etiquetas del oráculo que el DT, que sirve como línea base de aprendizaje automático tabular.

Contribuciones Claves y Resultados

1. Cuantificación del Sesgo de Intervención:
   Los brazos de LLM zero-shot (A, B, C) exhiben una sobreprescripción sistemática. En el día 56, el Brazo C (GPT-4o + EAV) sobreprescribió en 43.6 puntos porcentuales en comparación con el oráculo. En una institución de 10,000 estudiantes, esto equivale a aproximadamente 4,300 contactos innecesarios por ciclo. En contraste, los brazos supervisados (D, E, F) lograron un error de calibración cercano a cero, eliminando con éxito el sesgo de intervención.

2. El Aprendizaje de Políticas Supervisadas Elimina el Sesgo:
   Tanto el Decision Transformer condicionado por trayectoria (Brazos D/E) como el clasificador de instantánea XGBoost (Brazo F) lograron una alta Fidelidad de la Política del Experto (EPF).

• Brazo D/E (Corregido v3): Logró un 99.8% de EPF en el día 14 y un 95.4% en el día 112, con un F1 macro de 79% y un recall macro de 85% en las cinco clases de acción (incluyendo clases raras como reducir_carga).
• Brazo F (XGBoost): Logró un 99.8% en el día 14 pero se degradó al 89.9% para el día 112, lo que sugiere que el condicionamiento de trayectoria del DT ofrece una ventaja arquitectónica para datos secuenciales a largo plazo.
• Comparación: El DT superó significativamente a los brazos de LLM zero-shot (47–67% de EPF) y a la línea base de la clase mayoritaria en la mayoría de los cortes.

3. Determinismo y Auditabilidad:
   Los brazos D y E lograron una tasa de cambio de acción (action flip rate) del 0% debido a la garantía matemática del determinismo argmax de ONNX. Por el contrario, los brazos de LLM exhibieron tasas de cambio no nulas (Brazo A: 2.9%, Brazo B: 0.8%, Brazo C: 0.2%), lo que hace que los registros de auditoría sean poco fiables en entornos regulados.

4. Soberanía de Hardware y Latencia:
   La arquitectura permite la inferencia nativa de CPU y sin egreso de datos.

• Latencia: El paso de decisión del DT en ONNX se ejecuta en <5 ms en una CPU convencional, lo que representa una aceleración de 454.8× respecto a las decisiones de LLM zero-shot (Brazo C) y una aceleración de 2,500× respecto a los pipelines de SQL-RAG (Brazo B).
• Costo: El Brazo E (Granite 4.0 Small local) incurrió en $0.00 de costo de API y cero egreso de datos, cumpliendo con los requisitos de FERPA/GDPR, mientras igualaba la fidelidad de decisión del brazo basado en la nube (Brazo D).
• Reentrenamiento: El DT puede reentrenarse con nuevos datos de resultados en menos de 4 minutos en una sola CPU, permitiendo el intercambio rápido de políticas sin dependencia de GPU.

5. La Brecha de Evaluación:
   El estudio confirma que las clasificaciones de DeepEval G-Eval son ortogonales a la precisión validada por resultados. DeepEval clasificó al brazo de SQL-RAG (B) por encima del brazo de RAG vectorial (A), a pesar de que el Brazo B tenía una precisión de decisión significativamente peor (47.5% vs. 65.4% en el día 14). Esto demuestra que la evaluación basada en la fluidez es un proxy poco fiable para la calidad de la decisión en intervenciones secuenciales de alto riesgo.

Significado y Alcance
El documento sostiene que el despliegue de LLM zero-shot está estructuralmente mal calibrado para tareas de asesoramiento conservadoras y de alto riesgo donde "no hacer nada" es una acción válida y necesaria. La contribución principal es la validación empírica de que el aprendizaje de políticas supervisado (vía DT o XGBoost) elimina de forma fiable este sesgo cuando se entrena con datos etiquetados por resultados.

Los autores proponen el pipeline EAV-DT como un "volante de inercia vivo" (living flywheel): un sistema donde los datos no estructurados se normalizan en un estado tipado (EAV), se compilan en un modelo de decisión determinista de sub-5ms (DT) y se reentrenan offline en minutos. Esta arquitectura reemplaza la latencia y la estocasticidad del RAG Agéntico con un motor de decisión soberano, auditable y gratuito.

Modestia y Limitaciones
Los autores declaran explícitamente que este estudio valida únicamente la Etapa 2 (calidad de decisión sobre una entrada EAV estructurada y controlada).

• Sin Reclamación de Extremo a Extremo No Estructurado: El estudio no afirma que el pipeline completo funcione con datos no estructurados brutos; el ruido de extracción de la Etapa 1 (alucinaciones, deriva de esquema) se difiere a trabajos de seguimiento.
• El Oráculo como Proxy: Una alta fidelidad (93–99%) refleja la alineación con una regla de retrospectiva definida por un investigador, no necesariamente una generalización sobrehumana a asesores humanos reales o entradas ruidosas del mundo real.
• Brecha de Evaluación: El hallazgo de que los marcos de evaluación tipo "LLM como juez" no detectan el sesgo de intervención se presenta como un fallo específico de dominio para intervenciones secuenciales, no como una crítica general a los jueces de LLM para todas las tareas.

En resumen, el artículo argumenta que para la toma de decisiones secuenciales de alto riesgo, el "reemplazo de RAG" no es un mejor prompt o un modelo más grande, sino una arquitectura desacoplada que separa el aprendizaje de políticas deterministas de la generación de narrativa, asegurando la calibración, la auditabilidad y la soberanía.