🤖 machine learning

Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy

Este artículo introduce Perturbar-y-Corregir (P&C), un método post-hoc que genera predictores epistémicamente diversos a partir de una única red preentrenada mediante la aplicación de perturbaciones aleatorias en capas ocultas con correcciones por mínimos cuadrados, logrando así fuertes compensaciones entre rendimiento en distribución y fuera de distribución sin requerir múltiples modelos.

Autores originales: Eleanor Quint

Publicado 2026-05-05

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eleanor Quint

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: El Estudiante "Perfecto" que Fracasa en el Examen Inesperado

Imagina que has entrenado a un estudiante brillante (una red neuronal) para resolver problemas de matemáticas. Le das miles de problemas de práctica (los datos de entrenamiento) y obtiene una puntuación perfecta. Es tan bueno que si le das otro problema del mismo libro de texto, lo resolverá correctamente cada vez.

Pero aquí está el truco: Muchos estudiantes diferentes podrían haber obtenido esa misma puntuación perfecta.

En el mundo del aprendizaje profundo, esto se llama subespecificación. Tus datos de entrenamiento no obligaron al modelo a aprender una forma específica de pensar; simplemente le obligaron a obtener la respuesta correcta. Así, el modelo encontró un camino hacia la respuesta, pero hay miles de otros caminos que podría haber tomado y que habrían parecido exactamente iguales en el examen de práctica.

El problema surge cuando el estudiante se enfrenta a un cambio de distribución—un examen del mundo real donde las preguntas se ven ligeramente diferentes (por ejemplo, un coche autónomo viendo una tormenta de nieve en lugar de un día soleado, o una inteligencia artificial médica viendo una enfermedad rara). Como el modelo nunca tuvo que elegir qué camino tomar durante el entrenamiento, podría elegir un camino que funciona para un día soleado pero que conduce a un accidente en la nieve. No sabemos qué camino tomó, por lo que no sabemos si es seguro.

La Solución: Perturbar y Corregir (P&C)

Los autores introducen un truco inteligente llamado Perturbar y Corregir (P&C). No necesitan reentrenar al estudiante ni enseñarle cosas nuevas. Simplemente toman el modelo terminado y lo agitan de una manera muy específica para crear un "equipo" de versiones ligeramente diferentes del mismo estudiante.

Así es como funciona el proceso, paso a paso:

1. La "Perturbación" (El Agite)

Imagina que el cerebro del estudiante tiene una capa específica de neuronas (una capa oculta) donde realiza un pensamiento pesado. Los investigadores toman esta capa y empujan aleatoriamente las conexiones dentro de ella.

Analogía: Es como pedirle al estudiante que resuelva el problema de matemáticas mientras lleva gafas ligeramente diferentes que distorsionan su visión solo un poquito.
Resultado: Si solo hicieras esto, el estudiante empezaría a dar respuestas incorrectas incluso en el examen de práctica. El "empujón" rompió su puntuación perfecta.

2. La "Corrección" (El Arreglo)

Esta es la parte mágica. Los investigadores miran la siguiente capa del cerebro (la capa afín) y la re-sintonizan utilizando una corrección matemática simple (corrección por mínimos cuadrados) basada en los viejos problemas de práctica.

Analogía: El estudiante se pone las gafas distorsionadas, se confunde y empieza a responder mal. Pero entonces, un profesor (el paso de corrección) ajusta rápidamente el bolígrafo del estudiante (la siguiente capa) para compensar las gafas.
Resultado: Cuando el estudiante mira los viejos problemas de práctica, las gafas y el ajuste del bolígrafo se cancelan entre sí perfectamente. El estudiante obtiene exactamente la misma puntuación perfecta que antes.

3. El "Ensemble" (El Equipo)

Los investigadores repiten este proceso muchas veces. Cada vez, usan un empujón aleatorio diferente (gafas diferentes) y un ajuste de bolígrafo diferente.

El Resultado: Ahora tienes 50 o 100 versiones del mismo estudiante.
- En los viejos problemas de práctica, todos están de acuerdo perfectamente.
- En problemas nuevos y extraños (el cambio de distribución), los ajustes de "gafas" y "bolígrafo" ya no se cancelan perfectamente. Los estudiantes empiezan a desacordarse entre sí.

Por Qué Esto Importa: La Señal de "Desacuerdo"

En el pasado, si un solo modelo estaba inseguro, teníamos que entrenar un conjunto completo de modelos desde cero para ver si estaban de acuerdo o en desacuerdo. Eso requiere mucho tiempo y potencia de computación.

Con P&C, el desacuerdo ocurre automáticamente:

Si la entrada es normal: El ajuste de "gafas" y "bolígrafo" funcionan juntos. Todas las versiones del modelo están de acuerdo. Estamos seguros.
Si la entrada es extraña (Fuera de Distribución): El ajuste de "gafas" y "bolígrafo" ya no coincide con la nueva situación. Los modelos empiezan a dar respuestas diferentes.
La Señal: El hecho de que estén en desacuerdo nos dice: "¡Oye! Estamos en territorio desconocido. ¡Ten cuidado!"

La Analogía de la "Palanca"

El artículo utiliza un concepto geométrico llamado "palanca" para explicar por qué esto funciona.

Imagina que los problemas de práctica son un grupo de personas sentadas alrededor de una fogata.
Si haces una pregunta a alguien sentado justo al lado del fuego (en distribución), el "ajuste del bolígrafo" puede corregir fácilmente la "distorsión de las gafas" porque están cerca del centro. Todos están de acuerdo.
Si haces una pregunta a alguien que está de pie lejos en la oscuridad (fuera de distribución), el "ajuste del bolígrafo" (que fue calibrado para el fuego) no puede alcanzarlo. La "distorsión de las gafas" toma el control y los modelos empiezan a ver las cosas de manera diferente.

Resumen de Resultados

Los autores probaron esto en dos cosas:

Física de Robots (MuJoCo): Predecir cómo se mueve un robot. Cuando el comportamiento del robot cambió (desplazamiento), P&C fue mucho mejor detectando que estaba en una situación "extraña" en comparación con otros métodos, sin necesidad de reentrenar al robot.
Reconocimiento de Imágenes (CIFAR-10): Detectar imágenes que no pertenecen (como mostrar una imagen de un gato a un clasificador de perros). P&C fue muy bueno diciendo: "No sé qué es esto", en comparación con otros métodos de modelo único.

La Conclusión

El artículo argumenta que no deberíamos intentar eliminar la "flexibilidad" de las redes neuronales (el hecho de que muchos caminos conducen a la misma respuesta). En su lugar, deberíamos explotarla.

Tomando un solo modelo entrenado, agitando aleatoriamente y luego corrigiéndolo lo suficiente para mantenerlo honesto con los datos conocidos, podemos crear un equipo de expertos diversos de forma gratuita. Se mantienen sincronizados cuando las cosas son normales, pero naturalmente se rompen en un coro de desacuerdo cuando las cosas se vuelven extrañas, alertándonos sobre un peligro potencial.

Resumen Técnico: Perturbar-y-Corregir (P&C)

Enunciado del Problema

Las redes neuronales profundas modernas están masivamente sobreparametrizadas, lo que conduce a un fenómeno conocido como subespecificación. Aunque muchas configuraciones distintas de parámetros pueden producir un rendimiento casi idéntico en datos de entrenamiento dentro de la distribución (ID), estos modelos a menudo se comportan de manera drásticamente diferente bajo cambios de distribución o ataques adversarios. Esta falta de restricción significa que los pipelines de entrenamiento estándar no logran determinar completamente el comportamiento del modelo fuera del soporte de los datos, creando una brecha crítica en el despliegue confiable, particularmente en lo que respecta a la incertidumbre epistémica y la detección fuera de la distribución (OOD). Los métodos existentes para estimar esta incertidumbre a menudo requieren entrenar múltiples modelos independientes (Deep Ensembles), modificar el procedimiento de entrenamiento (MC Dropout) o aproximar una distribución posterior (SWAG, Laplace), lo cual puede ser computacionalmente costoso o estructuralmente restrictivo.

Metodología: Perturbar-y-Corregir (P&C)

El artículo introduce Perturbar-y-Corregir (P&C), un método de construcción de ensambles post-hoc que genera predictores epistémicamente diversos a partir de una única red preentrenada sin reentrenamiento. El método aprovecha la subespecificación de las redes profundas introduciendo intencionalmente variaciones de parámetros y luego restringiendo sus efectos sobre los datos ID.

Mecanismo Central

Perturbación: P&C selecciona una capa oculta (o una secuencia de capas) y aplica perturbaciones de parámetros aleatorias de bajo rango. Específicamente, muestrea una base ortonormal aleatoria y la escala por una magnitud de perturbación $\sigma$ para crear una matriz de perturbación $\Delta W$ .
Corrección: Para evitar que estas perturbaciones degraden el rendimiento en datos ID, P&C ajusta una corrección compensatoria en la capa afín inmediatamente siguiente. Esto se logra mediante mínimos cuadrados regularizados con ridge en un subconjunto de calibración de los datos ID. La corrección minimiza la diferencia entre las preactivaciones originales de la siguiente capa y las preactivaciones perturbadas.
Construcción del Ensamble: Este proceso se repite $M$ veces con diferentes perturbaciones aleatorias y, opcionalmente, diferentes subconjuntos de bootstrap de los datos de calibración. El ensamble resultante es una mezcla ponderada uniformemente de estos predictores corregidos.

Fundamento Teórico

El artículo analiza el mecanismo a través de la lente del residual post-corrección y la sensibilidad corregida:

Preservación ID: Cerca de la distribución de calibración, la corrección por mínimos cuadrados suprime efectivamente el impacto de la perturbación. El residual está acotado por un término de palanca que es pequeño cuando la entrada se encuentra dentro de la geometría de calibración.
Divergencia OOD: A medida que las entradas se desvían del soporte de calibración (extrapolación), el término de palanca crece y la corrección ya no puede absorber completamente la perturbación. En consecuencia, la sensibilidad corregida (el cambio de salida por unidad de perturbación de la capa oculta) aumenta, permitiendo que los miembros del ensamble discrepen significativamente en datos OOD.
Sondeo Aleatorio: Los autores argumentan que las perturbaciones aleatorias actúan como un boceto no sesgado del operador de sensibilidad corregida. Dado que la corrección suprime los efectos solo donde los datos restringen el comportamiento, el muestreo aleatorio sondea efectivamente los "grados de libertad epistémicos" que los datos de entrenamiento dejaron sin resolver.

Contribuciones Clave

Construcción de Ensamble Post-Hoc: El artículo demuestra que se pueden construir ensambles epistémicos útiles sin estimar una posterior completa ni seleccionar direcciones de perturbación especializadas. Las perturbaciones aleatorias de baja dimensión en capas ocultas, combinadas con una corrección afín local en datos de calibración, son suficientes para generar predictores diversos.
Análisis Geométrico de Residuales: Los autores proporcionan un análisis teórico que explica por qué el acuerdo persiste cerca de la geometría de calibración mientras que la discrepancia emerge bajo cambios. Formalizan la relación entre el residual, la palanca y la sensibilidad corregida, explicando por qué las perturbaciones aleatorias son efectivas para sondear la incertidumbre epistémica.
Validación Empírica: El método se evalúa en dos tareas distintas:
- Predicción de Dinámicas MuJoCo: P&C logra un fuerte equilibrio entre el error cuadrático medio (RMSE) ID y la verosimilitud negativa logarítmica (NLL) OOD lejana, superando o igualando a los puntos de referencia estándar (Deep Ensembles, SWAG, Laplace, Subspace) mientras utiliza solo un único modelo preentrenado.
- Detección OOD en CIFAR-10: Utilizando el protocolo OpenOOD, P&C logra resultados de vanguardia entre los métodos post-hoc, superando a puntos de referencia de modelos únicos sólidos como SWAG y acercándose al rendimiento de Deep Ensembles con un costo computacional significativamente menor.

Resultados

MuJoCo: En 11 entornos, P&C obtuvo el mejor rango medio para NLL OOD lejana (1.55), AUROC lejana (1.27) y correlación de Spearman lejana (1.64). Mantuvo un RMSE ID competitivo (3.18) mientras superaba significativamente a Deep Ensembles en métricas de detección OOD.
CIFAR-10: P&C logró el AUROC OOD cercano más alto (91.55) y el AUROC OOD lejano más alto (95.09) entre los métodos reportados, reduciendo sustancialmente la Tasa de Falsos Positivos al 95% de recuperación (FPR95) en comparación con SWAG y Deep Ensembles.
Diagnóstico del Mecanismo: Los experimentos confirmaron que, sin la corrección por mínimos cuadrados, las perturbaciones aleatorias degradan el rendimiento ID. Con corrección, el rendimiento ID se preserva y la discrepancia escala con la distancia de Mahalanobis desde las activaciones de calibración.

Significado y Afirmaciones

El artículo afirma que P&C replantea la subespecificación no como una patología que debe eliminarse, sino como una fuente de incertidumbre epistémica que debe explotarse. Al tratar los grados de libertad no resueltos por los datos de calibración como un recurso, P&C ofrece una alternativa computacionalmente eficiente al entrenamiento de múltiples modelos independientes o a la realización de inferencia bayesiana compleja.

Los autores posicionan a P&C filosóficamente más cerca de las Redes Neuronales Epistémicas que de los métodos explícitamente bayesianos, ya que representa la incertidumbre a través de una familia de predictores que coinciden donde los datos restringen el comportamiento y divergen donde no lo hacen, sin requerir cambios en la arquitectura del modelo o en el pipeline de entrenamiento. El trabajo sugiere que las correcciones afines locales pueden transformar perturbaciones aleatorias simples en ensambles post-hoc efectivos, destacando el potencial de la sobreparametrización en el aprendizaje profundo.