Resumen Técnico: Modelos de Decisión Auditables con Abstención Aprendida y Dirección en Tiempo Real

Formulación del Problema

Los sistemas de IA en producción encuentran con frecuencia entradas caracterizadas por evidencia incompleta, conflictiva o insuficiente. Los enfoques tradicionales a menudo fuerzan estos casos ambiguos en etiquetas de acción binarias (por ejemplo, SÍ/NO), ocultando así la incertidumbre, o dependen de salidas generativas que carecen de la estructura requerida para decisiones de ejecución auditables. El problema central abordado es la necesidad de una interfaz de control de decisiones operativas donde la incertidumbre sea explícitamente enrutable, gobernada por políticas y auditable, en lugar de estar oculta dentro de predicciones forzadas o generación de forma libre.

El artículo define un espacio de decisión acotado $Y_d = \{SÍ, NO, PENDIENTE\}$.

• SÍ: Soporte suficiente para una acción.
• NO: Soporte suficiente para el rechazo o bloqueo.
• PENDIENTE: Incertidumbre insuficiente para acción directa o rechazo, representando un resultado de diferimiento aprendido.

A diferencia de los modelos estándar de opción de rechazo donde la abstención es un umbral aplicado post-hoc a un clasificador binario, este trabajo trata el diferimiento (PENDIENTE) como una clase supervisada dentro del espacio de etiquetas. Esto permite que el modelo internalice la estructura semántica de la ambigüedad durante el entrenamiento, en lugar de tratar las regiones de baja confianza como una zona uniforme de rechazo.

Metodología

Arquitectura

El modelo propuesto, EvaluatorDPT, utiliza un codificador transformador (BERT-base-uncased) con una longitud máxima de secuencia de 128 tokens. La arquitectura emplea un diseño de múltiples cabezas:

1. Cabeza de Decisión Principal: Predice la distribución acotada sobre $\{SÍ, NO, PENDIENTE\}$.
2. Cabezas Auxiliares: Canales estructurados para valores (10 etiquetas) y emociones/sentimientos (28 etiquetas).
   • Nota: Para la evaluación específica reportada en este artículo, la cabeza de emociones está desactivada. Las afirmaciones empíricas se restringen a la cabeza de decisión, mientras que los canales auxiliares se presentan como una capacidad arquitectónica para el control de políticas futuro.

Entrenamiento y Datos

• Conjunto de Datos: Un corpus curado derivado de Inferencia de Lenguaje Natural (NLI) y materiales de estilo de postura (SNLI, MultiNLI, SemEval). La implicación se mapea a SÍ, la contradicción a NO, y la neutralidad/evidencia insuficiente a PENDIENTE.
• Refinamiento de Límites: El modelo experimenta una época de refinamiento dirigida utilizando un subconjunto pequeño (323 ejemplos) extraído de errores diagnósticos previos. Este subconjunto se centra en regiones semánticas difíciles, incluyendo negación, contradicción, trampas de superposición léxica, intercambios de rol/número y declaraciones atenuadas/modales.
• Función de Pérdida: Pérdida ponderada (1.0 para decisión, 0.3 para valor, 0.3 para emoción) con suavizado de etiquetas (0.05).
• Configuración: Programación cosenual con calentamiento, capas del codificador descongeladas 9–11, y una tasa de aprendizaje global de $5.0 \times 10^{-6}$.

Interfaz Operativa

El sistema separa la distribución de decisiones aprendida del modelo de la política de despliegue.

• Control en Tiempo de Inferencia: Los operadores pueden ajustar el comportamiento de enrutamiento cambiando los umbrales operativos registrados (por ejemplo, aumentando la tasa de diferimiento para flujos de trabajo de alto riesgo) sin reentrenar los pesos del modelo.
• Auditabilidad: La interfaz emite una distribución acotada, puntuaciones de confianza y señales auxiliares estructuradas. El paquete de evaluación incluye datos de calibración, barridos de umbrales, matrices de confusión y comandos de reproducibilidad para apoyar la revisión externa.

Contribuciones Clave

1. Formulación de Diferimiento Aprendido: Modelar el enrutamiento de decisiones como una salida tripartita acotada donde PENDIENTE es un resultado supervisado aprendido, permitiendo que ejemplos ambiguos moldeen la representación durante el entrenamiento.
2. Separación de Decisión y Política: El modelo emite una distribución, mientras que los umbrales de despliegue permanecen externos e inspeccionables. Esto separa la representación de la incertidumbre de la elección de la tolerancia al riesgo.
3. Control Auditable en Tiempo de Inferencia: Un marco donde las políticas de enrutamiento (umbrales, reglas de respaldo, uso de señales auxiliares) se registran como política operativa en lugar de estar incrustadas en los pesos del modelo, permitiendo la dirección en tiempo real sin reentrenamiento.
4. Interfaz Agnóstica al Dominio: El espacio de salida es independiente de dominios específicos aguas abajo, permitiendo que las mismas etiquetas acotadas se apliquen a moderación, flujos de trabajo de aprobación o revisiones de cumplimiento con calibración específica del dominio.
5. Evaluación Orientada a la Auditoría: Una estructura de evaluación integral que incluye comportamiento por clase, evidencia de calibración (ECE), barridos de umbrales, verificaciones de estabilidad con múltiples semillas y materiales de reproducibilidad, yendo más allá de la simple precisión agregada.

Resultados

Métricas de Rendimiento

En la división de prueba retenida ($n=44,597$), el modelo logra:

• Precisión: 0.8260
• F1 Macro: 0.8252
• F1 por Clase:
  • SÍ: 0.8314
  • NO: 0.8486
  • PENDIENTE: 0.7956

Análisis Comparativo

• Aprendido vs. Forzado: Colapsar el modelo a una decisión binaria SÍ/NO (eliminando PENDIENTE) hace que el F1 Macro caiga significativamente a 0.4945, demostrando la necesidad de la clase de diferimiento aprendida.
• Umbralización: Aplicar umbrales de rechazo a un clasificador binario al 90% de cobertura produce un F1 Macro más alto (~0.863) pero excluye el 10% de los casos. El modelo aprendido de PENDIENTE mantiene un alto rendimiento en todo el conjunto de cobertura completa.
• Calibración: El modelo demuestra una buena calibración con un Error de Calibración Esperado (ECE) de 0.0338 en el conjunto de validación.
• Impacto del Refinamiento: El paso de refinamiento de límites no aumentó materialmente el F1 Macro bruto (padre: 0.8254 vs. refinado: 0.8252) pero redujo el error de calibración y las tasas de error de alta confianza (por ejemplo, el error de alta confianza en el umbral 0.85 bajó de 0.0558 a 0.0485).

Análisis de Errores

El error residual principal implica confusión entre casos verdaderos de PENDIENTE y etiquetas de acción directa (SÍ/NO), particularmente casos de PENDIENTE mal clasificados como SÍ. Esto resalta la dificultad semántica de distinguir entradas ambiguas de aquellas con evidencia decisiva, una región objetivo del subconjunto de refinamiento de límites.

Significado y Afirmaciones

El artículo afirma que el diferimiento aprendido puede evaluarse efectivamente como una interfaz de control de decisiones auditable. El significado no radica en lograr la máxima automatización o un nuevo esqueleto de modelo de lenguaje, sino en proporcionar un mecanismo de enrutamiento controlado bajo ambigüedad.

Las afirmaciones clave incluyen:

• Incertidumbre Explícita: La incertidumbre debe ser un resultado explícito y enrutable (PENDIENTE) en lugar de una propiedad oculta de una puntuación de confianza.
• Separabilidad de Políticas: La distribución del modelo y la política de umbral de despliegue pueden examinarse y modificarse independientemente, apoyando la gobernanza y la gestión de riesgos.
• Revisabilidad: La evidencia de evaluación (calibración, estabilidad, matrices de confusión) permite a revisores externos inspeccionar el comportamiento del sistema y reconstruir el proceso de evaluación, un estándar que los autores argumentan es necesario para los sistemas de IA operativos.

Los autores permanecen modestos respecto a la generalización, señalando que los resultados son específicos del corpus evaluado y que la transferencia de dominio requiere validación, calibración y selección de umbrales separados. Los canales auxiliares de valor y emoción se definen como capacidades arquitectónicas pero no se validan empíricamente en esta versión específica.