Resumen Técnico: ¿Qué tan Fiel es la Atribución de Datos Basada en Trayectorias?

1. Declaración del Problema

Los métodos de atribución de datos basados en trayectorias (por ejemplo, SGD-influence, TracIn, SOURCE) estiman la influencia de muestras de entrenamiento individuales sobre las predicciones del modelo mediante el desarrollo de la trayectoria de entrenamiento. Aunque se utilizan ampliamente para la selección de datos, la valoración y el diagnóstico de modelos, estos métodos carecen de un análisis de errores exhaustivo. Los practicantes enfrentan incertidumbres fundamentales respecto a la magnitud y el origen de los errores de atribución, particularmente en cuanto a si los errores provienen de discrepancias entre la fórmula de atribución y la dinámica real de entrenamiento (por ejemplo, desajuste del optimizador) o de aproximaciones algorítmicas inherentes (por ejemplo, expansiones de Taylor de primer orden). Esta incertidumbre obstaculiza el despliegue confiable de estos métodos en las pipelines modernas de aprendizaje profundo, que utilizan predominantemente optimizadores como AdamW en lugar del SGD asumido por las derivaciones teóricas existentes.

2. Metodología y Taxonomía

Los autores proponen el primer análisis sistemático de errores de la atribución basada en trayectorias, organizando el error total en tres categorías distintas:

1. Error a Nivel de Configuración: Surge cuando la fórmula de atribución no refleja fielmente el procedimiento de entrenamiento real. La fuente dominante identificada es el desajuste del optimizador, donde los métodos asumen dinámicas de Descenso de Gradiente Estocástico (SGD) a pesar de que los modelos se entrenan con AdamW.
2. Error a Nivel de Algoritmo: Surge de aproximaciones de eficiencia, específicamente la expansión de Taylor de primer orden utilizada para linealizar la trayectoria de parámetros.
3. Error a Nivel de Sistema: Errores irreducibles debidos a la precisión de punto flotante y la no determinación de la GPU, que afectan incluso al reentrenamiento de verdad fundamental.

Para abordar esto, el artículo introduce:

• AdamW-influence: Un nuevo algoritmo que desarrolla la dinámica real de optimización de AdamW (incluyendo estados de momento y escalado adaptativo por coordenada) en lugar de asumir SGD. Inyecta perturbaciones a nivel de gradiente para manejar correctamente la no linealidad de las actualizaciones de segundo momento de AdamW.
• Proxy de Error: Una expresión de forma cerrada para estimar el error algorítmico por muestra (error de estimación de actualización) a lo largo de la trayectoria original sin necesidad de reentrenar.
• Marco de Previsión de K Pasos: Un marco teórico unificado para la selección de datos que trata las estrategias offline y online como casos límite de un parámetro de horizonte $K$, permitiendo el análisis de la compensación entre la información de previsión y el error de aproximación acumulado.

3. Contribuciones Clave

A. Corrección del Error a Nivel de Configuración (Desajuste del Optimizador)

Los autores demuestran que los métodos existentes derivan la atribución bajo la suposición de SGD, creando desviaciones sistemáticas cuando se aplican a modelos entrenados con AdamW. Proponen AdamW-influence, que tiene en cuenta correctamente el momento y el escalado adaptativo de AdamW.

• Resultado: En cuatro configuraciones (MLP, CNN, GPT-2 y Llama 3.2-1B), AdamW-influence mejora la correlación de Spearman entre la influencia estimada y la influencia de verdad fundamental (TSLOO) en un 10% a más del 300% en comparación con la línea base basada en SGD.
• Implicación: La alineación del optimizador es un prerrequisito necesario para aislar y analizar los errores restantes a nivel de algoritmo.

B. Disección del Error a Nivel de Algoritmo

Con el error a nivel de configuración corregido, los autores aíslan el error que surge de la expansión de Taylor de primer orden. Identifican dos factores gobernantes:

1. Tasa de Aprendizaje ($\eta$): Tasas de aprendizaje más grandes aumentan el error de linealización por paso.
2. Longitud de la Trayectoria ($T - t^*$): Trayectorias restantes más largas permiten que los errores se acumulen.

• Resultado: La magnitud del error es inversamente proporcional a la tasa de aprendizaje y directamente proporcional a la longitud de la trayectoria restante.
• Contribución: Los autores derivan un proxy de error de forma cerrada (Ecuación 4) que estima las normas de error por muestra utilizando cantidades ya mantenidas por el optimizador. Este proxy se correlaciona fuertemente ($\rho \in [0.83, 0.89]$) con las normas de error de verdad fundamental obtenidas mediante reentrenamiento leave-one-out, permitiendo decisiones conscientes del error sin reentrenar.

C. Directrices Prácticas para la Selección de Datos

El artículo unifica las estrategias de selección de datos offline y online bajo un marco de previsión de K pasos, donde $K$ representa el número de pasos hacia el futuro que considera una decisión de selección.

• Hallazgos:
  • Alineación del Optimizador: La selección online utilizando AdamW-influence supera consistentemente a la selección online SGD-influence, transfiriendo las ganancias de fidelidad al rendimiento de selección aguas abajo.
  • Horizonte vs. Error: La selección offline corresponde al horizonte más largo ($K = T-t$) y acumula el mayor error de aproximación. La selección online con un horizonte corto a moderado a menudo iguala o supera el rendimiento offline.
  • Ajuste de $K$: El horizonte óptimo $K$ crece a medida que disminuye la tasa de aprendizaje. Tasas de aprendizaje más pequeñas permiten que la suma de $K$ pasos se extienda más antes de que domine el error de aproximación.
• Directriz: Los practicantes deben ajustar $K$ conjuntamente con la tasa de aprendizaje en lugar de fijarlo, y la selección online de horizonte corto con optimizadores alineados es una receta confiable y accionable.

4. Resultados Experimentales

Los autores evaluaron sus métodos en:

• Modelos: MLP, CNN, GPT-2 y Llama 3.2-1B.
• Conjuntos de Datos: MNIST, WikiText-2, Alpaca y Tulu3.
• Métricas: Correlación de rango de Spearman contra la verdad fundamental TSLOO (para fidelidad) y tasas de error de validación/prueba o perplejidad (para calidad de selección de datos).

Resultados Clave:

• Fidelidad: AdamW-influence supera significativamente a SGD-influence en todas las tasas de aprendizaje y arquitecturas. Por ejemplo, en MNIST+CNN con $lr=10^{-3}$, la correlación mejoró de 0.015 a 0.090 (+500%).
• Calidad de Selección: En tareas de selección de datos, AdamW-influence Online logró consistentemente tasas de error más bajas (en MNIST) y perplejidad más baja (en Llama 3.2) en comparación tanto con SGD-influence Online como con AdamW-influence Offline.
• Proxy de Error: El proxy derivado rastreó con éxito las normas de error de verdad fundamental con una alta correlación de Spearman ($\rho \approx 0.85$), validando su uso como señal práctica para decisiones conscientes de la trayectoria.

5. Significado y Afirmaciones

El artículo afirma proporcionar el primer análisis sistemático de errores de la atribución de datos basada en trayectorias, moviendo el campo de tratar estos métodos como "funciones de puntuación de caja negra" a "estimadores diagnosticables".

• Impacto Teórico: Al categorizar los errores en niveles de configuración, algoritmo y sistema, el trabajo aclara las fuentes de infidelidad en contextos modernos de aprendizaje profundo.
• Impacto Práctico: La introducción de AdamW-influence y el marco de K pasos ofrece remedios concretos y accionables para los practicantes. Demuestra que alinear la fórmula de atribución con el optimizador real (AdamW) y ajustar cuidadosamente el horizonte de previsión puede mejorar significativamente la fiabilidad de la selección de datos y el diagnóstico de modelos.
• Escalabilidad: Los métodos propuestos mantienen una complejidad $O(T)$ (con una sobrecarga constante de aproximadamente 3x en comparación con SGD-influence debido al almacenamiento de estado aumentado), haciéndolos factibles para modelos a gran escala cuando se combinan con técnicas de enmascaramiento aleatorio.

Los autores reconocen limitaciones, señalando que su análisis se restringe a métodos basados en Taylor de primer orden y modelos de hasta Llama 3.2-1B debido a restricciones computacionales, y que la generalización a otros regímenes (por ejemplo, aprendizaje por refuerzo, modelos de difusión) sigue siendo una dirección abierta.