Are You Measuring the Failure Subspace, or Its Ceiling?

Resumen Técnico: "¿Está midiendo el subespacio de falla o su techo?"

Planteamiento del Problema
Una afirmación empírica prevalente en la literatura de Adaptación en Tiempo de Prueba (TTA) y Adaptación de Bajo Rango (LRA) es que el subespacio relevante para adaptar un modelo —definido por el span de los gradientes por muestra, las direcciones de Fisher o las "direcciones de falla"— es sorprendentemente de baja dimensión. Métodos como GOLD [7] y diversas técnicas de LRA se basan en la observación de que un pequeño número de autovectores captura la gran mayoría de la energía en estos vectores de tipo gradiente ("demandas").

Sin embargo, este artículo argumenta que para las definiciones de demanda comúnmente utilizadas (gradientes de entropía cruzada, gradientes de entropía y el Producto Exterior de Gradiente Promedio o AGOP), esta observación de "bajo rango" no es un descubrimiento empírico sobre los datos o el modo de falla, sino una identidad algebraica. Estas demandas están matemáticamente confinadas al espacio de filas de la matriz de pesos del clasificador final $W$. En consecuencia, su rango de covarianza no puede exceder el número de clases $C$ (o $C-1$ para demandas de suma cero). El artículo postula que las estructuras de bajo rango reportadas pueden ser simplemente un redescubrimiento de este techo algebraico en lugar de evidencia de una dimensión de falla intrínseca y compacta.

Metodología
Para distinguir entre un techo algebraico y una estructura genuinamente de baja dimensión, los autores emplean un diseño experimental controlado:

1. Pruebas Algebraicas: El artículo establece tres proposiciones que prueban los techos de rango para las demandas comunes:
   • Gradientes de Entropía Cruzada (CE) y de Entropía: Confinados a un hiperplano de dimensión máxima $C-1$ debido a la propiedad de suma cero en el espacio de logits.
   • AGOP: Confinado al espacio de filas de $W$, con un techo de rango de máximo $C$.
2. Demanda Libre de Techo: Para medir lo que reside más allá de estos techos, los autores construyen una demanda "libre" ($d_{act}$) basada en las participaciones del espacio de activación ($A \odot -\nabla_A L$). Esta demanda no es una imagen de $W^\top$ y, teóricamente, puede ocupar la dimensión completa de la característica ambiental $D$.
3. Barrido Controlado: Se realizan experimentos en subconjuntos anidados de CIFAR-100, variando el número de clases $C$ de 2 a 100 mientras se mantienen constantes la arquitectura, el ancho de la característica ($D$), el conteo de muestras por clase y el protocolo de optimización.
4. Prueba de Sensibilidad al Ancho: Los autores duplican el ancho de la representación final ($D$ de 256 a 512) con un $C=100$ fijo para probar si el rango medido es una propiedad de la tarea o del aparato de medición.
5. Descomposición: Los vectores de demanda libre se proyectan sobre el espacio de filas de $W$ ($P_{row(W)}d$) y su complemento ortogonal para analizar la distribución de la energía entre el componente del "techo" y la "cola".

Resultados Clave

• Las Demandas con Techo están Ancladas a su Techo: Para las demandas de CE, entropía y AGOP, el rango efectivo ($r_{90}$) sigue de cerca el techo algebraico. Con $C=100$, estas demandas ocupan entre el 55% y el 65% de su rango máximo posible ($C$ o $C-1$). A medida que $C$ aumenta, la fracción del techo ocupada en realidad disminuye, lo que indica que la aparente estructura de bajo rango en $C$ grandes es el resultado de que el techo se está "vaciando", no de la emergencia de una nueva estructura.
• La Demanda Libre Excede el Techo y es Sensible al Ancho: La demanda libre de techo exhibe un rango efectivo que excede $C$ (por ejemplo, 41.7 en $C=20$) y crece con $C$ a una tasa aproximadamente el doble que la de las demandas con techo. Crucialmente, cuando el ancho de la característica $D$ se duplica, el rango efectivo de la demanda libre aumenta significamente (de 111 a 191), mientras que las demandas con techo permanecen relativamente estables. Esto sugiere que el rango de la demanda libre es una función del tamaño del espacio ambiental, no solo de la dificultad de la tarea.
• La Descomposición Revela una Cola Amplia: Proyectar la demanda libre sobre $row(W)$ revela que ~74% de su energía reside dentro del subespacio inducido por el clasificador, reproduciendo el exacto declive espectral en el índice $C$ observado en las demandas con techo. El ~26% restante de la energía forma una "cola amplia, débilmente estructurada y sin rodilla" que abarca cientos de dimensiones. El rango de esta cola sigue el tamaño del espacio ambiental en lugar de una dimensión intrínseca compacta.
• Reevaluación de GOLD: El artículo reanaliza el método GOLD, señalando que su afirmación de "fuerte concentración de bajo rango" (los 64–128 autovectores superiores capturan >99% de la energía en CIFAR-100-C) es tautológica dado el techo algebraico de $C=100$. Los números reportados reflejan la ocupación del subespacio inducido por el clasificador, no el descubrimiento de un manifold oculto de baja dimensión en el espacio de características completo.

Significancia y Reivindicaciones
El artículo concluye que la afirmación "el subespacio de adaptación es sorprendentemente de bajo rango" confunde dos objetos distintos:

1. Un Hecho Algebraico: Las demandas derivadas de logits están confinadas a $row(W)$ y no pueden exceder el rango $C$. Esto es un teorema, no un hallazgo.
2. Una Hipotética Propiedad de los Datos: Una dimensión de falla intrínseca y compacta. Los autores no encuentran evidencia de tal dimensión en sus experimentos; en su lugar, al eliminar el techo algebraico, se revela una cola amplia y sensible al ancho.

Cambio Propuesto en el Reporte:
Los autores argumentan que reportar el "rango efectivo" por sí solo es insuficiente y potencialmente engañoso para las demandas limitadas por un techo. Proponen que el trabajo futuro en esta área debería reportar:

• Rango Efectivo Normalizado por el Techo ($\rho_{ceil}$): La relación entre el rango efectivo y el techo algebraico, separando el declive espectral empírico de las restricciones algebraicas.
• Participación de Energía del Espacio de Filas ($\rho$): La fracción de la energía de la demanda que reside dentro de $row(W)$. Esta métrica es estable respecto al ancho y cuantifica directamente la energía máxima accesible para cualquier método restringido al espacio de filas del clasificador (que incluye la mayoría de los métodos actuales de TTA/LRA).

El artículo no afirma que los métodos de bajo rango sean ineficaces, sino que su éxito no debe atribuirse a una "estructura oculta de baja dimensión" en los datos, sino al hecho de que operan dentro de las restricciones algebraicas del clasificador. La utilidad de la "cola" (la energía fuera de $row(W)$) sigue siendo una cuestión abierta.