Resumen Técnico: FALCON-Discover

Planteamiento del Problema

La investigación actual en calibración evalúa predominantemente la confianza del modelo a un nivel agregado (por ejemplo, el Error de Calibración Esperada, la puntuación de Brier), analizando si las probabilidades predichas se alinean con la corrección empírica en promedio a través de una población. Aunque es indispensable, esta perspectiva es incompleta porque no aborda el modo de falla más operativamente peligroso: un subconjunto pequeño y concentrado de predicciones que permanecen altamente confiadas a pesar de ser incorrectas. Estos errores de "falsa confianza" suelen ser los más consecuentes porque evaden la inspección manual y desencadenan decisiones perjudiciales en avales. Los métodos de calibración post-hoc existentes (por ejemplo, el escalado de temperatura, la regresión isotónica) se centran en remodelar las distribuciones de puntuación de forma global o en construir mejores puntuaciones de confianza escalares, pero pasan por alto en gran medida la cuestión estructural de si los errores de confianza peligrosos ocupan una sección compacta y descubrible del espacio de predicción. Este artículo redefine el problema de la alineación global de puntuaciones hacia el descubrimiento de discrepancias: identificar regiones donde la confianza, el soporte local y la estabilidad estructural divergen.

Metodología: FALCON-Discover

El artículo presenta FALCON-Discover, un marco post-hoc y agnóstico al modelo diseñado para detectar y localizar regiones concentradas de falsa confianza sin alterar el clasificador subyacente. El método opera bajo un paradigma de "aprendizaje de predicción a estructura", mapeando el comportamiento de la predicción en una muestra de validación hacia un estado de discrepancia estructurado, en lugar de reducirlo a una única puntuación escalar.

1. Construcción de la Señal

El marco descompone la fiabilidad en tres familias de señales complementarias para cada muestra $x$:

• Certeza Nativa: Captura el compromiso del modelo con su decisión utilizando el margen ($|2p(x)-1|$) y la entropía.
• Soporte Local y Acuerdo: Determina si la decisión está fundamentada en datos de entrenamiento cercanos. Esto incluye una puntuación de soporte normalizada basada en la distancia desde el manifold de entrenamiento y el acuerdo de vecindad (consistencia de etiquetas entre los $k$-vecinos más cercanos).
• Estabilidad Estructural: Mide la robustez de la predicción bajo perturbaciones controladas que preservan el soporte. Las muestras se mezclan parcialmente con vecinos cercanos, y la estabilidad se cuantifica mediante la deriva de probabilidad media ($\Delta_{mean}$), la deriva máxima ($\Delta_{max}$), la consistencia de etiqueta ($LC$) y la varianza de los logits.

Estas señales forman una representación estructurada $\psi(x)$, que sirve como entrada para las operaciones posteriores.

2. Clasificación y Descubrimiento

El marco emplea una familia de reglas de clasificación conscientes de la discrepancia para sacar a la luz errores peligrosos:

• Regla Centrada en la Estabilidad ($s_{stab}$): Una puntuación analítica simple que pondera la deriva de probabilidad y la inconsistencia de la etiqueta.
• Puntuación de Discrepancia Analítica Fija ($s_{disc}$): Una agregación monótona y gruesa de señales de conflicto (certeza, inestabilidad, colapso de soporte) con pesos ordinales para servir como un testigo orientado a la falsificación.
• Clasificador de Discrepancia Aprendido ($q_\theta$): Un modelo de logit lineal ponderado entrenado en pliegues de validación para combinar las señales de discrepancia, con una función objetivo que enfatiza los eventos de falsa confianza.

3. Resultados Operativos

La representación estructurada $\psi(x)$ permite tres operaciones distintas:

1. Clasificación (Ranking): Ordenar las muestras para maximizar la captura de eventos de falsa confianza dentro de un presupuesto de revisión fijo (por ejemplo, el 20% superior).
2. Localización: Agrupar (clustering) la representación de la discrepancia para identificar regiones compactas de alto riesgo.
3. Guía de Calibración: Derivar un perfil de ponderación consciente de la discrepancia ($w_{cal}$) para asignar énfasis de entrenamiento a las muestras estructuralmente sospechosas en futuros pasos de calibración.

Se impone un estricto cross-fitting para asegurar que todas las características de la discrepancia se construyan a partir de predicciones fuera del pliegue (out-of-fold) o de la muestra de validación, evitando la fuga de datos.

Contribuciones Clave

1. Formalización de la Concentración de Falsa Confianza: El artículo define la concentración de falsa confianza como un objeto de fiabilidad estructural: la recuperabilidad de secciones de error compactas y de alto riesgo que están ocultas por los resúmenes de calibración agregados.
2. Aprendizaje de Predicción a Estructura: Introduce un paradigma post-hoc donde el comportamiento de la predicción en muestras de validación se eleva a un estado de discrepancia reutilizable, distinto de la construcción de una nueva puntuación de confianza o un nuevo clasificador.
3. Caracterización de Regímenes: El trabajo caracteriza cuándo surge la concentración, identificando tres regímenes empíricos:
   • Regímenes Fuertes: Amplificación clara del conflicto en secciones recuperables.
   • Regímenes Mixtos: Amplificación más débil o dependiente del modelo base.
   • Regímenes de Frontera: Eventos dispersos donde las estimaciones de concentración fiables son difíciles de obtener.
4. Descubrimiento a Nivel de Familia: El artículo demuestra que el detector más fuerte varía según el régimen (clasificadores de discrepancia aprendida frente a reglas centradas en la estabilidad), estableciendo el problema como un desafío de descubrimiento a nivel de familia más que una afirmación de dominancia de una sola puntuación.
5. Evidencia Controlada: Proporciona evidencia multivariante en siete conjuntos de datos tabulares binarios heterogéneos utilizando modelos base fuertes (XGBoost, CatBoost) y un riguroso cross-fitting.

Resultados Experimentales

El marco fue evaluado en siete conjuntos de datos (Adult, Bank Marketing, MiniBooNE, Magic Telescope, Nomao, Spambase, Phoneme) utilizando cuatro semillas y cross-fitting de cinco pliegues, con un umbral de confianza fijo $\tau=0.90$ y presupuestos de revisión de hasta el 20%.

• Rendimiento: En regímenes fuertes (Adult, Bank Marketing, MiniBooNE), la familia de la discrepancia superó sustancialmente a las bases de comparación más fuertes seleccionadas por validación (por ejemplo, TrustScore, Beta Scaling). Por ejemplo, en el conjunto de datos Adult, el AUROC de la familia mejoró de 0.525 a 0.847, y el Capture@20 aumentó de 0.108 a 0.728.
• Variabilidad del Detector: El "mejor" miembro de la familia dependía del régimen. Los clasificadores de discrepancia aprendidos funcionaron mejor cuando se requería la combinación conjunta de múltiples señales de conflicto, mientras que las reglas centradas en la estabilidad fueron superiores en regímenes donde la fragilidad decisional local predominaba (por ejemplo, Nomao, Spambase).
• Comparación con Baselines: La clasificación por confianza bruta recuperó muy poca masa de errores peligrosos. El enfoque consciente de la discrepancia superó significativamente al ranking aleatorio y a los estándares de calibración en la captura de la masa de falsa confianza dentro de pequeños presupuestos de revisión.
• Sensibilidad al Régimen: En regímenes "mixtos" (Magic Telescope), los predictores base más fuertes absorbieron la estructura local, reduciendo el margen de mejora para el descubrimiento post-hoc. En regímenes de "frontera" (Phonome), los eventos dispersos de falsa confianza debilitaron la fuerza de la evidencia de todos los métodos.

Significado y Reivindicaciones

El artículo sostiene que la concentración de falsa confianza es una propiedad real, medible y dependiente del régimen de los modelos entrenados. La contribución principal no es un nuevo clasificador o una puntuación universalmente dominante, sino una visión estructural del fallo de calibración.

Los autores argumentan que el análisis de la calibración debe cambiar de la mera alineación de puntuaciones con frecuencias a la revelación explícita de dónde las predicciones se vuelven estructuralmente inseguras para confiar. Al tratar la sobreconfianza peligrosa como un objeto estructural descubrible, FALCON-Discover permite un monitoreo dirigido, la abstención selectiva y una refinación de la calibración enfocada en las regiones específicas donde la confianza, el soporte y la estabilidad divergen. El trabajo establece que el fallo de fiabilidad es estructurado en lugar de ser meramente escalar, motivando futuras estrategias que apunten explícitamente a estas regiones de discrepancia concentrada. Los autores mantienen la modestia, señalando que el marco actual está definido para datos tabulares binarios y que extender los principios de soporte y estabilidad a otras modalidades (visión, lenguaje) requiere definiciones específicas de la modalidad.