🤖 machine learning

EVA-0: Test-Time Model Evolution with Only Two Forward Passes per Sample

EVA-0 es un marco de adaptación de orden cero mínimo que permite la evolución eficiente de modelos en tiempo de prueba con solo dos pasadas hacia adelante por muestra, superando obstáculos clave de optimización sin retropropagación para lograr un rendimiento superior y aceleraciones significativas en comparación con los métodos existentes.

Autores originales: Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente de IA altamente entrenado, como una aplicación de navegación inteligente, que fue enseñado a conducir perfectamente en autopistas soleadas y despejadas. Pero ahora, lo has desplegado en una ciudad caótica donde de repente empieza a llover, las carreteras están cubiertas de nieve y los letreros son borrosos.

La mayoría de los sistemas de IA están "congelados" una vez que salen del laboratorio. No pueden aprender de estas nuevas y desordenadas condiciones. Para arreglarlos, los ingenieros generalmente tienen que retirar el vehículo, reentrenarlo en un garaje masivo (usando retropropagación, que es como un proceso pesado, costoso y que consume mucha memoria) y luego volver a enviarlo. Esto es lento, costoso e imposible para dispositivos pequeños como un reloj inteligente o un dron.

Algunos métodos más recientes intentan permitir que la IA aprenda sobre la marcha sin ese pesado reentrenamiento. Pero a menudo requieren que la IA "piense" sobre el mismo problema docenas de veces para determinar la dirección correcta, lo cual sigue siendo demasiado lento para su uso en tiempo real.

Presentamos a EVA-0: El Genio de la "Doble Adivinanza"

Los autores de este artículo proponen un nuevo método llamado EVA-0. Su gran idea es simple pero poderosa: ¿Puede una IA aprender y adaptarse eficazmente al observar un problema solo dos veces?

Dicen que "Sí". Así es como lo hicieron funcionar, utilizando algunas analogías creativas:

1. El Problema: La Trampa del "Atajo"

Imagina que estás intentando perder peso (mejorar la IA).

El Atajo: Podrías simplemente dejar de comer por completo. La báscula (la función de pérdida) te mostrará que estás perdiendo peso inmediatamente, pero en realidad no te estás volviendo más saludable; solo te estás muriendo de hambre. En términos de IA, el modelo encuentra un "atajo" donde finge una buena respuesta inflando sus números de confianza enormemente, en lugar de entender realmente la imagen.
La Solución de EVA-0: Los autores diseñaron un "plan de dieta" especial (un objetivo invariante a la escala) que impide que la IA haga trampa. Obliga a la IA a aprender realmente las características correctas, no solo a inflar sus números de confianza para parecer bien.

2. El Problema: Perderse (Deriva de Pesos)

Imagina que estás haciendo senderismo en un bosque neblinoso. Si das pasos al azar para encontrar el camino, podrías accidentalmente alejarte millas del sendero. En la IA, tomar "adivinanzas" aleatorias para mejorar puede hacer que el modelo se desvíe tanto de su entrenamiento original que olvide todo lo que sabía.

La Solución de EVA-0: Introdujeron un Ancla. Piensa en esto como una cuerda resistente atada a un árbol al inicio del sendero. A la IA se le permite vagar y explorar para encontrar el nuevo camino, pero la cuerda la atrae suavemente de vuelta si comienza a desviarse demasiado. Esto mantiene a la IA estable mientras aún le permite aprender.

3. El Problema: Adivinar la Dirección

Por lo general, para saber hacia dónde ir, podrías intentar caminar hacia adelante, ver si es mejor, luego caminar hacia atrás y comparar.

La Vieja Forma: Algunos métodos usan una adivinanza "de un solo lado" (solo camina hacia adelante y espera). Esto es ruidoso e poco fiable.
El Truco de EVA-0: Utilizan un enfoque Simétrico de Dos Lados. Piden a la IA que observe el problema dos veces: una vez con un pequeño "empujón" a la izquierda, y una vez con un pequeño "empujón" a la derecha.
- La Magia: Al promediar los resultados de estos dos empujones, obtienen una imagen muy clara de lo que habría sido la respuesta sin ningún empujón (para que puedan hacer una predicción).
- La Eficiencia: Al comparar la diferencia entre el empujón a la izquierda y el empujón a la derecha, determinan exactamente hacia dónde moverse para mejorar.
- El Resultado: Obtienen tanto una predicción como una señal de aprendizaje de las mismas dos observaciones. No se necesitan pasos adicionales.

Por Qué Esto Importa

El artículo probó esto en imágenes que estaban corruptas (borrosas, ruidosas, nevadas) utilizando dos tipos de modelos de IA (ViT y ResNet).

Velocidad: Es 14 veces más rápido que los métodos anteriores "sin retropropagación" porque no necesita adivinar 28 veces como los métodos antiguos; solo adivina dos veces.
Memoria: Utiliza una fracción diminuta de la memoria (aproximadamente 822 MB frente a 5 GB para otros métodos), lo que significa que puede ejecutarse en dispositivos pequeños y de borde como teléfonos o sensores.
Rendimiento: En realidad funciona mejor que algunos métodos que sí utilizan la pesada y costosa retropropagación, y es el primer método en hacerlo sin necesitar ningún "datos de origen" (aprende puramente del nuevo mundo desordenado).

En resumen: EVA-0 es una forma de permitir que una IA aprenda de sus errores en tiempo real, usando solo dos rápidas miradas al problema, sin perderse, sin hacer trampa y sin necesitar una supercomputadora para hacerlo. Convierte un modelo "congelado" en uno "vivo" que puede adaptarse al mundo real sobre la marcha.

Resumen Técnico: EVA-0

Enunciado del Problema

Los modelos de IA modernos se despliegan cada vez más en entornos dinámicos sujetos a cambios de distribución (por ejemplo, variaciones en los sensores, cambios en el comportamiento del usuario). Aunque la Adaptación en Tiempo de Prueba (TTA) busca permitir que los modelos aprendan de la experiencia no etiquetada en tiempo de prueba, la mayoría de los métodos existentes dependen de la retropropagación (BP). La BP incurre en una sobrecarga de memoria sustancial, lo que la hace incompatible con dispositivos de borde con recursos limitados, modelos cuantizados, aceleradores especializados o configuraciones de modelos de caja negra.

Recientes esfuerzos han explorado TTA sin BP utilizando optimización de orden cero (ZO). Sin embargo, los métodos ZO existentes enfrentan limitaciones significativas:

Eficiencia vs. Rendimiento: Métodos como FOA requieren muchas pasadas hacia adelante (por ejemplo, 28) para obtener señales estables, mientras que métodos como ZOA, que operan bajo un presupuesto estricto de dos pasadas hacia adelante, sufren de direcciones de actualización toscas y ruidosas.
Desafíos de Optimización: La optimización ZO es propensa a aprender "soluciones atajo" (por ejemplo, reducir la entropía mediante la inflación de la norma de los logits en lugar de mejorar los límites de decisión), sufre de deriva de pesos descontrolada y tiene dificultades para estimar direcciones de actualización efectivas bajo restricciones computacionales estrictas.

La pregunta central abordada es: ¿Puede un modelo desplegado evolucionar de manera estable y efectiva a partir de la experiencia no etiquetada en tiempo de prueba utilizando únicamente dos pasadas hacia adelante por muestra sin retropropagación?

Metodología: EVA-0

Los autores proponen EVA-0 (Adaptación Evolutiva con gradientes de orden cero), un marco mínimo diseñado para lograr una evolución estable del modelo en tiempo de prueba bajo un presupuesto estricto de dos pasadas hacia adelante. EVA-0 aborda los desafíos identificados a través de tres principios de diseño centrales:

1. Perturbación Simétrica de Dos Lados por Muestra (SSD)

Para superar el ruido y la ineficiencia de los estimadores ZO de un solo lado, cumpliendo al mismo tiempo la restricción de dos pasadas hacia adelante:

Mecanismo: Para cada muestra $x_i$ , el modelo evalúa dos perturbaciones simétricas: $f_{\theta_t + \mu z_{t,i}}(x_i)$ y $f_{\theta_t - \mu z_{t,i}}(x_i)$ .
Doble Utilidad: Estas dos pasadas hacia adelante sirven a un doble propósito:
- Inferencia: Las salidas se promedian para aproximar la predicción del modelo limpio (cancelando los términos de perturbación de primer orden mediante expansión de Taylor), eliminando la necesidad de una tercera pasada hacia adelante "limpia".
- Adaptación: La diferencia en las pérdidas entre las dos salidas simétricas proporciona una estimación del gradiente SPSA de dos lados con menor varianza.
Independencia por Muestra: A diferencia de las perturbaciones a nivel de lote, EVA-0 aplica perturbaciones independientes a cada muestra dentro de un mini-lote. Esto aumenta la diversidad de direcciones de actualización exploradas, mejorando significativamente la alineación con los verdaderos gradientes de BP en comparación con las perturbaciones de lote compartidas.

2. Objetivos Resistentes a Soluciones Atajo

Para evitar que la optimización ZO explote soluciones atajo (por ejemplo, inflar las normas de los logits para minimizar la entropía sin aprender):

Entropía Invariante a la Escala: EVA-0 emplea un objetivo de entropía invariante a la escala ( $E_{SR}$ ). Normaliza los logits de las salidas perturbadas por su norma promedio y aplica descentrado (restando un centro en línea). Esto evita que el modelo reduzca la entropía simplemente inflando la magnitud de los logits.
Alineación de Características por Muestra: Cuando están disponibles estadísticas de origen, EVA-0 utiliza una pérdida de alineación de características por muestra ( $\ell_{SWA}$ ). En lugar de estimar la varianza a partir de una sola muestra ruidosa, rastrea los momentos primero y segundo de las características en línea mediante un Promedio Móvil Exponencial (EMA) para reconstruir una estimación de varianza estable para la alineación.

3. Control de Trayectoria Guiado por Anclaje

Para mitigar la acumulación de deriva de pesos común en las actualizaciones ZO aleatorias:

Perturbación Guiada por Anclaje: Se mantiene un anclaje confiable (por ejemplo, pesos preentrenados o un EMA en movimiento lento de los parámetros en línea). La distribución de perturbación $D_t$ es adaptativa: un subconjunto de muestras explora direcciones aleatorias, mientras que otras son guiadas por el vector que apunta hacia el anclaje.
Relajación de Pesos: Después de la actualización ZO, un paso de relajación débil mezcla los pesos actualizados con el anclaje ( $\theta_{t+1} = (1-\gamma)\theta'_{t+1} + \gamma\theta_{anc}$ ). Esto actúa como un límite suave, desruidando la trayectoria y evitando que el modelo se desvíe demasiado hacia regiones inestables, mientras retiene plasticidad para la adaptación.

Contribuciones Clave

Configuración Estricta de Dos Pasadas hacia Adelante: El artículo establece e investiga el régimen desafiante de la evolución del modelo en tiempo de prueba con solo dos pasadas hacia adelante por muestra y sin retropropagación, impulsando la TTA hacia un despliegue real altamente eficiente.
Análisis Sistemático de las Limitaciones ZO: Los autores revelan tres obstáculos específicos en la TTA de orden cero: susceptibilidad a soluciones atajo, deriva de pesos descontrolada y estimación ineficaz de direcciones de actualización bajo presupuestos estrictos.
Marco EVA-0: Un método unificado que integra objetivos invariantes a la escala, control de trayectoria guiado por anclaje y perturbaciones simétricas por muestra.
Validación Exhaustiva: Experimentos extensos en CNNs (ResNet50-GN), Transformadores de Visión (ViT-Base), modelos cuantizados (6 bits/8 bits), flujos continuos y configuraciones de caja negra.

Resultados Experimentales

Evaluado en ImageNet-C (15 corrupciones, nivel de severidad 5):

Rendimiento: EVA-0 supera tanto a métodos basados en BP (por ejemplo, DeYO) como a líneas base sin BP (FOA, ZOA, FOZO). En ViT-Base, EVA-0 logra un 66.7% de precisión promedio, superando a DeYO (65.7%) y ZOA (61.3%).
Eficiencia: EVA-0 logra una aceleración de 14× sobre FOA (que requiere 28 pasadas hacia adelante) y reduce significativamente el uso de memoria en comparación con los métodos basados en BP (822 MB vs. 5,350 MB para DeYO en ViT-Base).
Modelos Cuantizados: EVA-0 permite que un ViT cuantizado a 6 bits supere a un ViT de 32 bits no adaptado en un 4.4% en precisión OOD, demostrando su viabilidad para el despliegue en el borde.
Adaptación Continua: En configuraciones de TTA continua a largo plazo donde los modelos evolucionan a través de dominios sin reinicio, EVA-0 mantiene la estabilidad (45.6% de precisión en ResNet50-GN), mientras que otros métodos (por ejemplo, FOA, DeYO) sufren una degradación significativa.
Adaptación de Caja Negra: EVA-0 adapta eficazmente los prompts de entrada en configuraciones de caja negra, superando a FOA en un 5.3% bajo la restricción de dos pasadas hacia adelante.

Significado y Afirmaciones

El artículo afirma que la evolución de modelos solo con pasadas hacia adelante no es meramente un compromiso para escenarios restringidos, sino un camino prometedor y escalable hacia la inteligencia desplegada adaptativa.

Al unificar objetivos resistentes a soluciones atajo, control de trayectoria y estimación eficiente de direcciones, EVA-0 demuestra que es posible una evolución de modelos efectiva, estable y eficiente bajo restricciones de despliegue extremadamente restrictivas (dos pasadas hacia adelante, sin BP). Este trabajo sugiere que los modelos pueden aprender significativamente de su propia experiencia no etiquetada en entornos del mundo real con recursos limitados, sin el alto costo computacional de la retropropagación.