Inference-Time Decision Calibration for Temporal Classification

Basado en el artículo proporcionado, aquí hay un resumen técnico detallado de "Inference-Time Decision Calibration for Temporal Classification" (Calibración de Decisiones en Tiempo de Inferencia para la Clasificación Temporal).

Planteamiento del Problema

La clasificación temporal se trata tradicionalmente como un problema de aprendizaje de representaciones: cuando un modelo falla, la respuesta estándar es construir un codificador temporal más fuerte (por ejemplo, redes recurrentes más profundas, Transformers o arquitecturas multiescala). Sin embargo, este artículo argumenta que los errores pueden no provenir únicamente de la falta de evidencia temporal (fallo de representación), sino también de cómo la evidencia disponible se convierte en decisiones finales (fallo de decisión).

Los enfoques estándar dificultan la distinción entre estos dos modos de fallo porque reemplazar un backbone o entrenar conjuntamente un modelo más grande altera simultáneamente el aprendizaje de la representación y la conversión de la decisión. Los autores postulan que un clasificador entrenado toma decisiones basadas en logits, umbrales y elecciones de calibración, no directamente desde las representaciones. Cuando la métrica objetivo (por ejemplo, F1-macro) difiere de la pérdida de entrenamiento, el paso de puntuación-a-decisión puede impactar significamente el rendimiento sin cambiar la representación temporal subyacente.

Metodología: Descomposición de Representación–Calibración

El artículo propone un marco que congela un clasificador temporal "nativo" entrenado e introduce dos intervenciones en tiempo de inferencia para diagnosticar y abordar errores sin reentrenar el backbone. Esto crea una descomposición diagnóstica de los errores de clasificación temporal.

1. Descomposición Nativa–Residual

• Rama Nativa: El backbone original ($f_\psi$) permanece congelado, produciendo logits nativos $\ell_{nat}(x)$.
• Rama Residual Multiescala: Se añade una rama auxiliar conservadora para extraer evidencia de múltiples resoluciones temporales.
  • Las secuencias de entrada se proyectan a diferentes escalas $s \in S$ (por ejemplo, mediante submuestreo o pooling).
  • Cada escala es codificada por un codificador específico de escala $E_s$.
  • Las representaciones de escala se agregan utilizando pesos de confianza $\alpha_s(x)$ para formar una representación auxiliar $z_{aux}(x)$.
  • Esta se mapea a logits auxiliares $\ell_{aux}(x)$.
  • Fusión: Los logits combinados brutos se computan de forma aditiva: $\ell_{raw}(x) = \ell_{nat}(x) + \gamma_{res}\ell_{aux}(x)$. Esta estructura aditiva asegura que la rama auxiliar actúe como una corrección en lugar de sobrescribir al modelo nativo.
• Variantes de Asignación de Confianza: El artículo evalúa tres métodos para determinar los pesos de confianza de escala $\alpha_s(x)$:
  • Residual-MS: Fusión uniforme ($\alpha_s = 1/M$).
  • Residual-ZOnly: Confianza aprendida basada únicamente en las representaciones de escala a través de una red de compuerta (gating network).
  • Residual-RCG: Confianza aprendida basada en representaciones de escala aumentadas con descriptores de fiabilidad explícitos (que miden la inestabilidad local, la consistencia entre escalas y la energía de la representación).

2. Calibración de Decisión Post-Hoc
Después de que el predictor bruto (nativo + residual) es entrenado, todos los parámetros de representación se congelan. Un calibrador ligero $C_\phi$ se ajusta en un conjunto de validación para recombinar la evidencia.

• Calibración Consciente de la Rama (Branch-Aware): A diferencia de los métodos estándar que operan sobre logits brutos, este enfoque toma un vector de evidencia por rama $v(x) = [\ell_{nat}(x); \ell_{aux}(x)]$ como entrada.
• Mecanismo: El calibrador aprende a reponderar y transformar los logits nativos y auxiliares (por ejemplo, mediante escalado de temperatura, ganancias por clase y sesgo) para producir logits calibrados $\tilde{\ell}(x)$.
• Lógica Diagnóstica:
  • Si la rama residual bruta mejora el rendimiento, el cuello de botella es representacional (falta de evidencia).
  • Si las ganancias brutas son pequeñas pero la calibración mejora el rendimiento, el cuello de botella es decisional (evidencia subutilizada).
  • Si ninguno de los dos ayuda, el sistema se encuentra en un régimen de saturación cercana.

Contribuciones Clave

1. Marco de Descomposición: Una novedosa separación de los errores de clasificación temporal en evidencia temporal faltante, evidencia de nivel de decisión subutilizada y regímenes de saturación cercana, lograda mediante la congelación del backstone.
2. Adaptador Residual Conservador: Un adaptador multiescala que añade logits auxiliares como una corrección aditiva, permitiendo el análisis de evidencia complementaria sin el reentrenamiento del backbone.
3. Calibración Consciente de la Rama: Una capa de decisión post-hoc que opera sobre logits nativos y auxiliares separados para probar si la evidencia residual es útil incluso cuando las ganancias residuales brutas son mínimas.
4. Análisis de Régimen Empírico: Una evaluación exhaustiva a través de cinco benchmarks (FI-2010, PTB-XL, UCI-HAR, MHEALTH, HARTH) y múltiples familias de backbones (CNN, RNN, ResNet, Transformer) para identificar qué cuello de botella predomina en diferentes configuraciones.

Resultados Experimentales

Los autores evaluaron el marco en cinco conjuntos de datos con distintas estructuras temporales:

• FI-2010 (Financial Limit Order Book): Muestra el régimen más fuerte de "sensibilidad al residual". La evidencia multiescala residual mejoró consistentemente el rendimiento, particularmente en entornos de horizonte corto y alto ruido, donde los límites de decisión nativos eran insuficientes. La calibración proporcionó ganancias menores y dependientes del horizonte.
• PTB-XL (Clasificación de ECG): Exhibió un régimen de "sensibilidad a la calibración", particularmente para backbones recurrentes. Aunque las ganancias residuales brutas fueron a veces modestas, la calibración consciente de la rama mejoró significativamente el rendimiento, sugiriendo que los logits nativos y auxiliares contenían evidencia complementaria no explotada totalmente por las reglas de decisión brutas.
• HARTH & MHEALTH (Reconocimiento de Actividad con Wearables): Mostraron resultados mixtos. Las ganancias se concentraron a menudo en los backbones recurrentes más débiles (GRU/LSTM), mientras que los modelos basados en convoluciones o Transformers más fuertes mostraron un margen de mejora limitado.
• UCI-HAR: Representó un régimen de "saturación cercana". El fuerte rendimiento nativo dejó poco espacio para que tanto la corrección residual como la calibración post-hoc mejoraran los resultados.

Hallazgos Clave:

• Dependencia del Régimen: Las ganancias no son universales. La evidencia residual es más valiosa en entornos ruidosos o limitados en representación. La calibración es más útil cuando existe evidencia complementaria pero esta se combina de forma deficiente.
• Asignación de Confianza: La asignación de confianza aprendida (ZOnly, RCG) no fue uniformemente superior a la fusión uniforme (MS). La fusión uniforme funcionó mejor en los datos financieros de alto ruido, mientras que la confianza aprendida ayudó en configuraciones recurrentes específicas.
• Utilidad Diagnóstica: La descomposición identificó con éxito si un par de conjunto de datos-backbone estaba limitado por la representación, la conversión de decisión o la saturación.

Significado y Reivindicaciones

El artículo sostiene que la clasificación temporal no debe verse únicamente como un problema de aprendizaje de representaciones. En su lugar, argumenta que los errores a menudo surgen de cómo se confía, se combina y se calibra la evidencia disponible.

La importancia de este trabajo radica en proporcionar un marco de diagnóstico en lugar de un módulo ganador universal. Al separar el aprendizaje de la representación de la conversión de la decisión, los autores demuestran que:

1. Muchos errores de clasificación temporal no se deben a codificadores débiles, sino a reglas de decisión subóptimas.
2. Un enfoque de "talla única" para mejorar los clasificadores temporales es ineficaz; la intervención apropiada (añadir evidencia vs. calibrar decisiones) depende fuertmente del régimen específico del conjunto de datos y la arquitectura del backbone.
3. Las intervenciones en tiempo de inferencia pueden proporcionar una comprensión más clara de las limitaciones del modelo sin los costos computacionales y los factores de confusión del reentrenamiento de grandes backbones.

Los autores concluyen que su descomposición ofrece una herramienta práctica para identificar si un modelo está limitado por la representación, por la decisión o está cerca de la saturación, guiando los esfuerzos futuros hacia el tipo correcto de mejora.