Resumen Técnico: Influcoder

Declaración del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) aumentan su capacidad, la necesidad de curar conjuntos de datos de entrenamiento de alta calidad se ha intensificado. Específicamente, existe una demanda de métodos de Atribución de Datos (DA) que puedan identificar qué muestras de entrenamiento específicas precondicionan a un modelo para generar ciertos resultados, como comportamientos tóxicos. Aunque las Funciones de Influencia (Koh y Liang, 2017) proporcionan un marco teórico para esto al cuantificar el efecto de las muestras de entrenamiento en la pérdida de prueba, su aplicación práctica a escala se ve obstaculizada por costos computacionales y requisitos de almacenamiento prohibitivos. Los métodos existentes a menudo requieren gradientes por ejemplo o aproximaciones de la inversa de la Hessiana, que son inestables y lentas. Además, estudios recientes (Li et al., 2025; Ivison et al., 2025) indican que muchos métodos de influencia luchan por superar a los baselines aleatorios cuando se escalan, mientras que otros (Jiao et al., 2025) muestran potencial para el filtrado pero siguen siendo computacionalmente costosos.

Metodología: Influcoder

Los autores proponen Influcoder, un método que destila los rankings de influencia de gradientes en un modelo codificador compacto para lograr una atribución de datos eficiente y escalable. El enfoque evita la inestabilidad de la estimación de la inversa de la Hessiana al depender de una formulación de influencia de primer orden basada en la similitud de coseno de los gradientes de LoRA (Low-Rank Adaptation).

1. Formulación de la Influencia de Gradiente

En lugar de utilizar la inversa de la Hessiana completa, el método adopta una formulación de influencia de primer orden (Garima et al., 2020) restringida a los parámetros del adaptador LoRA ($\theta_L$). Para asegurar la estabilidad y evitar la sobreponderación de gradientes de alta norma, el producto punto se reemplaza con la similitud de coseno:
$$\text{Inf}'(p, q) = \cos(\nabla\ell(\theta_L, p), \nabla\ell(\theta_L, q))$$
donde $p$ es una muestra del pool (entrenamiento) y $q$ es una muestra de consulta (query).

2. Pipeline de Entrenamiento de Dos Etapas

El método opera en dos etapas distintas:

• Etapa 1: Recolección de Etiquetas de Verdad de Campo (Ground Truth)

  • Las muestras del Pool ($P$) y de consulta ($Q$) pasan a través de un modelo decodificador objetivo.
  • Los gradientes se calculan únicamente en los tokens de respuesta (enmascarando el prompt), ya que estos se consideran más informativos.
  • Para reducir el almacenamiento, los gradientes se proyectan a una dimensión inferior utilizando CountSketch (Charikar et al., 2004).
  • La matriz de influencia de "verdad de campo" ($I_{GT}$) se precalcula mediante el cálculo de la similitud de coseno entre todos los pares de gradientes de pool y consulta.

• Etapa 2: Destilación en un Codificador

  • Se entrena un modelo codificador (por ejemplo, Ettin-encoder) para predecir los puntajes de influencia directamente desde las muestras de entrada, evitando la necesidad de calcular gradientes para cada consulta.
  • El codificador produce embeddings para las muestras de pool y de consulta ($E_p, E_q$).
  • Las influencias predichas ($I_P$) se calculan como la similitud de coseno entre estos embeddings.

3. Función de Pérdida Basada en Rankings

Dado que el objetivo es clasificar muestras en lugar de predecir valores de influencia exactos, el objetivo de entrenamiento combina dos pérdidas de ranking diferenciables:

• Pérdida de Correlación de Pearson ($L_{Pearson}$): Alinea el batch completo de influencias predichas con la matriz de verdad de campo para asegurar la consistencia global.
• Pérdida de Divergencia KL ($L_{KL}$): Una pérdida basada en softmax aplicada por consulta para optimizar específicamente el ranking de las muestras más influyentes del top-k.
• Pérdida Total: $L_{Total} = \alpha L_{Pearson} + (1 - \alpha) L_{KL}$.

Contribuciones Clave

1. Nuevo Enfoque de Destilación: Influcoder es el primer método que destila rankings de influencia de gradientes (específicamente basados en LoRA) en un codificador, distinguiéndose de trabajos de destilación previos que se centran en pérdidas de entrenamiento (ej. AirRep) o proxies de gradiente completo (ej. IProX).
2. Escalabilidad y Eficiencia: Al reemplazar los costosos cálculos de gradientes con un paso de propagación hacia adelante (forward pass) a través de un codificador pequeño, el método logra aumentos significativos de velocidad y reducciones de almacenamiento.
3. Filtrado Práctico: El método demuestra eficacia en el filtrado de datos tóxicos, una aplicación crítica para la seguridad de los LLMs.

Resultados Experimentales

Los autores evaluaron Influcoder contra baselines que incluyen LESS, LoGRA, DataInf, RDS+ y TF-IDF.

• Velocidad de Inferencia y Costo:

  • Influcoder (68M de parámetros) procesa muestras 15 veces más rápido que el modelo proxy más cercano, 45 veces más rápido que el LoGRA completo y 100 veces más rápido que LESS.
  • En términos de FLOPs, Influcoder utiliza 5 veces menos que el proxy más cercano y 44 veces menos que LESS.
  • Los requisitos de almacenamiento son drásticamente menores (30 MB para Influcoder frente a 320 MB para LESS y 2.24 GB para LoGRA).

• Calidad de Atribución:

  • Correlación de Ranking: Influcoder logra correlaciones de Spearman agregadas medias comparables o ligeramente inferiores a LESS, superando significativamente a los baselines de similitud semántica y otros métodos de proyección.
  • Filtrado de Toxicidad: En la tarea XSTest-response (filtrado de ejemplos tóxicos), Influcoder logró un AUPRC de 0.6981 (Heterogéneo) y 0.6919 (Homogéneo). Aunque es ligeramente inferior a LESS (0.7075 y 0.7562), es vastamente superior a DataInf (0.2157) y a los baselines Semánticos. Crucialmente, Influcoder logra esto con un tiempo de inferencia de ~32 segundos en comparación con ~2248 segundos para LESS.

Significado y Limitaciones

El artículo afirma que Influcoder proporciona un camino viable hacia una atribución de datos efectiva a gran escala, equilibrando el compromiso entre la alta precisión de los métodos basados en gradientes y la velocidad de los métodos basados en representaciones. Permite el uso de funciones de influencia para tareas como el filtrado de toxicidad donde la velocidad es esencial.

Sin embargo, los autores señalan explícitamente limitaciones significativas:

• Dependencia de la Distribución: A diferencia de métodos como LoGRA o LESS que funcionan independientemente de la distribución de los datos, el rendimiento de Influcoder cae drásticamente si las muestras caen fuera de la distribución de los conjuntos de pool y consulta utilizados durante el entrenamiento.
• Requisito de Datos de Entrenamiento: El método requiere una cantidad suficiente de datos de entrenamiento para destilar la influencia inicialmente. En tareas con datos insuficientes, el rendimiento se degrada.
• Sobrecarga de Configuración (Setup Overhead): A diferencia de los métodos de "conexión directa" (plug-in), Influcoder requiere una fase de configuración inicial que involucra el almacenamiento de gradientes y el entrenamiento del codificador, lo que añade complejidad al flujo de trabajo.

En conclusión, Influcoder ofrece una alternativa rentable y de alta velocidad para la atribución de datos, particularmente adecuada para escenarios donde la distribución de los datos es conocida y se prioriza la inferencia rápida sobre la precisión absoluta del ranking.