Interaction-Aware Influence Functions for Group Attribution

Resumen Técnico: Funciones de Influencia Conscientes de la Interacción para la Atribución de Grupos

Enunciado del Problema
Las funciones de influencia son una herramienta fundamental para aproximar cómo la eliminación de un ejemplo de entrenamiento cambia una función objetivo, como una pérdida de validación. La práctica estándar para estimar la influencia de un grupo de ejemplos es sumar las influencias individuales de sus miembros. Sin embargo, este enfoque aditivo asume que los ejemplos contribuyen de forma independiente, fallando en capturar efectos conjuntos. En la realidad, los ejemplos pueden ser redundantes (por ejemplo, casi-duplicados) o complementarios (por ejemplo, características similares con etiquetas diferentes). Sumar influencias individuales cuenta dos veces los ejemplos redundantes y pasa por alto los efectos sinérgicos de los complementarios, lo que conduce a una atribución de grupo deficiente y a una selección de datos subóptima (por ejemplo, seleccionar subconjuntos altamente redundantes). Los intentos previos de abordar esto, como correcciones de segundo orden a los desplazamientos de parámetros, a menudo pasan por alto cómo la propia función objetivo responde a esos desplazamientos.

Metodología
Los autores proponen una función de influencia consciente de la interacción que caracteriza cómo las interacciones entre ejemplos afectan conjuntamente a una función objetivo. La innovación central consiste en expandir la función objetivo $f$ al segundo orden alrededor de los parámetros entrenados $\hat{\theta}$, en lugar de simplemente linealizar el desplazamiento de parámetros.

1. Expansión de Segundo Orden:
   El efecto exacto de dejar fuera un grupo $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ se aproxima expandiendo $f$ al segundo orden:
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{Influencia de primer orden}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{Término de interacción}}$$
   Aquí, $u_S = \sum_{z_i \in S} u_i$ es el desplazamiento agregado de parámetros, donde $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$, y $H_f = \nabla^2_\theta f(\hat{\theta})$ es la Hessiana de la función objetivo.

2. Término de Interacción Pareada:
   El segundo término (el término de interacción) se descompone en una suma de contribuciones pareadas $\kappa(z_i, z_j) = u_i^\top H_f u_j$.

   • Interpretación: Si $H_f$ es definida positiva, $\kappa(z_i, z_j)$ actúa como un producto interno que mide la alineación de los efectos de dos ejemplos sobre el objetivo.
   • Redundancia vs. Complementariedad: El término es positivo cuando los ejemplos empujan al modelo en direcciones similares (redundancia, rendimientos decrecientes) y negativo cuando empujan en direcciones opuestas (complementariedad, efecto conjunto beneficioso).
   • Factorización en Forma Cerrada: Para la regresión logística binaria, los autores demuestran que $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$. Esto recupera formalmente el principio de que ejemplos similares con etiquetas diferentes son complementarios, mientras que ejemplos similares con la misma etiqueta son redundantes.

3. Selección de Datos Codiciosa:
   Para aplicar esto a la selección de datos (encontrar un subconjunto $S$ que minimice el objetivo al añadirse), los autores derivan una puntuación marginal $m(z_i | S)$ para añadir un candidato $z_i$ a un conjunto ya seleccionado $S$. Esta puntuación incluye un término $u_S^\top H_f u_i$ que penaliza candidatos similares a los ya seleccionados, equilibrando efectivamente la calidad individual con la diversidad del grupo sin requerir una heurística de diversidad externa.

Contribuciones Clave

• Marco Teórico: Un nuevo estimador de función de influencia que augmenta la suma estándar de primer orden con un término de interacción pareada derivado de una expansión de segundo orden de la función objetivo. Esto difiere de trabajos previos que expandían el desplazamiento de parámetros (por ejemplo, Basu et al. [5]), ofreciendo una estructura pareada más estable e interpretable.
• Garantías Teóricas: Demostración de que el término de interacción codifica principios clásicos de aprendizaje supervisado (complementariedad de pares similares de clases cruzadas, redundancia de pares similares de la misma clase) en una factorización en forma cerrada para regresión logística, extensible a clasificadores profundos multiclase.
• Eficiencia Algorítmica: Un procedimiento de selección codiciosa (Algoritmo 1) con complejidad $O(KPd)$ que precalcula cantidades necesarias y actualiza un acumulador, haciéndolo escalable a grandes conjuntos de datos y modelos.

Resultados Experimentales
El método fue evaluado en dos configuraciones principales:

1. Fidelidad al Reentrenamiento (Modelos de Escala Pequeña):

   • Configuración: Evaluado en seis pares de conjunto de datos-modelo (Regresión Logística, MLPs, ResNet-9) en tareas de clasificación y regresión.
   • Métrica: Correlación de rango de Spearman entre la influencia estimada y los efectos reales de reentrenamiento al dejar fuera un grupo.
   • Resultado: El estimador consciente de la interacción (F+I) logró la correlación más alta en todas las configuraciones, superando significativamente a la influencia estándar de primer orden (F) y a la corrección de desplazamiento de parámetros de segundo orden (F+B). Cabe destacar que F+B mostró inestabilidad, confirmando la mala condición teórica de expandir el desplazamiento de parámetros en configuraciones no convexas.

2. Selección de Subconjuntos (Escala Pequeña y Modelos de Lenguaje Grandes):

   • Escala Pequeña (MLPs): En MNIST y FashionMNIST, la selección basada en influencia estándar (F) colapsó hacia pocas clases, desempeñándose peor que la selección aleatoria. El método consciente de la interacción mantuvo una entropía de clase comparable a la selección aleatoria y logró la pérdida de prueba de validación más baja.
   • Modelos de Lenguaje Grandes (Llama-3.1-8B): Aplicado a la selección de datos de ajuste por instrucciones a partir de un conjunto de ~270k ejemplos.
   • Resultado: El método propuesto superó a la selección aleatoria en las siete tareas posteriores (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD). Logró el mejor rendimiento general en cinco de las siete tareas, superando tanto a las líneas base basadas en influencia (IF Aditiva, LESS) como a las líneas base de similitud de representación (RDS+, NV-Embed). Crucialmente, la selección basada en influencia estándar (IF Aditiva) tuvo un rendimiento inferior al de la selección aleatoria en la mayoría de las tareas, destacando el fracaso de la puntuación aditiva en este régimen.

Significado y Afirmaciones
El artículo afirma que la atribución de grupos se trata fundamentalmente de cómo los ejemplos de entrenamiento afectan al objetivo, no solo al desplazamiento de parámetros. Al caracterizar las interacciones a través de su efecto conjunto sobre el objetivo, el método propuesto aborda el "punto ciego" de la puntuación aditiva, lo que conduce a una selección de datos redundante. Los autores demuestran que tener en cuenta estas interacciones es crítico tanto para estimar con precisión la influencia de un grupo como para seleccionar subconjuntos de entrenamiento diversos y efectivos. El método proporciona una corrección de segundo orden principista que surge naturalmente de la curvatura de la función objetivo, en lugar de depender de penalizaciones de diversidad impuestas externamente.

Limitaciones
Los autores señalan dos limitaciones principales:

1. El procedimiento de selección codiciosa, aunque efectivo, carece de garantías formales de optimalidad.
2. El estimador hereda errores de aproximación de las aproximaciones subyacentes de la Hessiana (por ejemplo, EK-FAC, proyecciones de rango bajo). El trabajo futuro podría beneficiarse de avances en la estimación escalable de la inversa de la Hessiana.