💻 computer science

Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

Este artículo presenta un método agnóstico a la tarea para medir la influencia de los datos de entrenamiento mediante la cuantificación de cuánto reduce cada ejemplo individual la distancia hacia los parámetros finales del modelo, revelando que los datos relacionados con la literatura impulsan el preentrenamiento temprano mientras que los datos de STEM se vuelven más influyentes en las etapas posteriores a través de diversas configuraciones de modelos.

Autores originales: Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

Publicado 2026-08-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a hablar como un humano. No le das solo un libro; viertes todo el internet en su cerebro. Este proceso se llama "preentrenamiento", y es la base de los modelos de IA que usamos hoy en día. Pero aquí está la parte difícil: una vez que el robot termina de aprender, nadie sabe realmente qué frases o historias específicas fueron las más importantes. ¿Aprendió a ser bueno en matemáticas gracias a un artículo específico de Wikipedia? ¿Aprendió a escribir poesía gracias a una novela específica?

Los científicos han estado tratando de responder a esto preguntando: "Si elimino esta oración en particular, ¿empeora el robot en una prueba específica, como resolver problemas matemáticos o escribir un poema?". Esto es como intentar averiguar qué ingrediente hizo que un pastel supiera bien probando el pastel después de haberlo comido ya. El problema es que los modelos de IA se supone que deben ser buenos en todo, no solo en una prueba. Si solo compruebas qué tan bien hacen matemáticas, podrías perderte el hecho de que aprendieron a ser divertidos gracias a una parte diferente de los datos. Así que, la gran pregunta es: ¿Podemos ver cómo cambia el cerebro del robot a lo largo del tiempo sin obligarlo a tomar un examen específico?

Este artículo introduce una nueva y astuta forma de observar al robot aprender, sin necesidad de una prueba específica. En lugar de preguntar: "¿Ayudó esta oración al robot a pasar un examen de matemáticas?", los investigadores preguntaron: "¿Ayudó esta oración al robot a acercarse a su cerebro final y terminado?". Trataron el estado final del robot como un destino en un mapa. Cada vez que el robot leía una nueva oración, daba un pequeño paso. Los investigadores midieron si ese paso acercaba al robot hacia la línea de meta o si accidentalmente daba un paso hacia atrás.

Aplicaron este método a 18 versiones diferentes de una famosa familia de modelos de IA, observando cómo aprendían a través de 154 puntos de control diferentes (como instantáneas del cerebro del robot en distintos momentos). Lo que encontraron fue una historia fascinante sobre cómo la "dieta" del robot cambia a medida que crece.

En el puro principio, cuando el robot apenas comenzaba a aprender, las oraciones más útiles provenían de la literatura y las historias. Estas fueron los "principales contribuyentes" que empujaron al robot hacia su forma final. Era como si el robot necesitara entender primero las historias y las emociones humanas. Sin embargo, a medida que el entrenamiento continuaba hacia las etapas medias y finales, la historia cambió. Las oraciones que se volvieron más importantes ya no eran historias; eran de campos STEM (Ciencia, Tecnología, Ingeniería y Matemáticas).

Los investigadores vieron un "cruce" claro. Al principio, los libros y la literatura eran las estrellas del espectáculo. Más tarde, los datos técnicos sobre ciencia y computación tomaron el protagonismo. Esto sugiere que el robot no solo aprende cosas "difíciles" al final; de hecho, necesita una secuencia de aprendizaje específica. Parece que necesita la base del lenguaje humano y las historias primero, y solo entonces se beneficia realmente de los datos técnicos complejos para alcanzar su pleno potencial.

Los autores también comprobaron si su método era fiable. Compararon su medición de "distancia al final" con el antiguo método de "puntuación de prueba" y descubrieron que el viejo método daba respuestas muy diferentes dependiendo de qué prueba eligieras. Si evaluabas matemáticas, pensabas que los datos de matemáticas eran importantes todo el tiempo. Si evaluabas historias, pensabas que las historias eran importantes todo el tiempo. Su nuevo método, sin embargo, mostró un patrón consistente a través de todos los diferentes modelos que probaron, sugiriendo que este cambio de historias a ciencia es una parte real y fundamental de cómo aprenden estos modelos de IA, no solo un accidente de cómo fueron probados.

Así que, la conclusión principal es que entrenar una IA no es solo alimentarla con una mezcla aleatoria de datos. Es más bien como un currículo. El artículo sugiere que los "mejores" datos cambian dependiendo de qué tan avanzado esté la IA en su entrenamiento. Al principio, necesita historias; más tarde, necesita ciencia. Esto nos da una nueva forma de pensar en cómo construir una mejor IA: tal vez deberíamos alimentarlas primero con historias y dejar la matemática compleja para cuando estén listas para ella.

Resumen Técnico: Medición de la Influencia de los Datos de Entrenamiento Independiente de la Tarea en el Preentrenamiento de Modelos de Lenguaje

Planteamiento del Problema
Los métodos existentes para medir la influencia de los datos de entrenamiento en los modelos de lenguaje (LM) suelen depender de objetivos específicos de tareas, como la pérdida (loss) en un punto de prueba específico o el rendimiento en un benchmark de una tarea derivada. Aunque son útiles para objetivos específicos, estos enfoques enfrentan limitaciones significativas en el contexto del preentrenamiento, cuyo objetivo es desarrollar capacidades generales y amplias en lugar de optimizar para una única tarea. Seleccionar tareas derivadas o conjuntos de validación que sean representativos de las capacidades generales de un modelo a lo largo de toda su trayectoria de preentrenamiento es difícil. Además, las estimaciones de influencia vinculadas al rendimiento de checkpoints intermedios en tareas específicas suelen ser inconsistentes y difíciles de comparar entre diferentes etapas de entrenamiento, ya que los checkpoints tempranos pueden poseer capacidades relevantes sin haber resuelto aún completamente la tarea objetivo.

Metodología
Los autores proponen una medida de la influencia de los datos de entrenamiento independiente de la tarea, definida por la medida en que un ejemplo de entrenamiento individual mueve al modelo hacia los parámetros finales de una ejecución de preentrenamiento dada.

Definición de Influencia: La influencia de un mini-lote (mini-batch) $B_t$ se cuantifica como la reducción en la distancia euclidiana al cuadrado entre los parámetros actuales $\theta_t$ y los parámetros preentrenados finales $\theta^*$ inducida por la actualización en el paso $t$ . Matemáticamente, $Cont(B_t) = \|\theta^* - \theta_t\|_2^2 - \|\theta^* - \theta_{t+1}\|_2^2$ . Esto se expande a $2\Delta_t^\top(\theta^* - \theta_t) - \|\Delta_t\|_2^2$ , donde el primer término mide la alineación con la dirección hacia los parámetros finales, y el segundo término penaliza la norma al cuadrado de la actualización.
Descomposición a Nivel de Ejemplo: Asumiendo el Descenso de Gradiente Estocástico (SGD) estándar, la influencia del mini-lote se descompone en contribuciones de ejemplos individuales. La influencia de un ejemplo $x_k^t$ se define como $Cont(x_k^t) = 2\Delta_{t,k}^\top(\theta^* - \theta_t) - \Delta_{t,k}^\top \Delta_t$ . Esta formulación tiene en cuenta la interacción entre los ejemplos dentro de un mini-lote.
Aproximación Basada en Checkpoints: Para hacer que el método sea tratable para el preentrenamiento a gran escala sin necesidad de reentrenar, los autores derivan una aproximación utilizando checkpoints guardados periódicamente. En lugar de calcular actualizaciones en cada paso, aproximan el estado $\theta_t$ y la actualización $\Delta_t$ utilizando los parámetros al inicio ( $\theta_c$ ) y al final ( $\theta_{c'}$ ) de un intervalo de checkpoint. Esto permite la estimación post-hoc de la influencia a partir de checkpoints públicos.

Contribuciones Clave

Reformulación Independiente de la Tarea: El artículo reformula la influencia de los datos de entrenamiento a través del preentrenamiento en términos del progreso hacia los parámetros finales, eliminando la dependencia de tareas derivadas o conjuntos de validación específicos.
Estimación Basada en Checkpoints: Los autores derivan un método de aproximación práctico que permite la estimación de la influencia a nivel de ejemplo desde checkpoints intermedios sin tener que reentrenar el modelo desde cero.
Caracterización Empírica: El estudio caracteriza la evolución de la contribución de los datos a lo largo del preentrenamiento, revelando variaciones sistemáticas y dependientes de la etapa en diferentes tipos de datos.
Análisis de Fiabilidad: El trabajo establece la fiabilidad de la propuesta de análisis a través de aproximaciones de checkpoints, puntos de referencia finales y diversas configuraciones de modelos (tamaños, inicializaciones y ordenamientos de datos).

Resultados Experimentales
El método se aplicó a 18 configuraciones de las suites Pythia y PolyPythia, cubriendo tamaños de modelo desde 70M hasta 12B de parámetros y utilizando 154 checkpoints por ejecución.

Dinámica de Contribución: La contribución media aumenta significamente después de la etapa temprana de entrenamiento, alcanza su punto máximo alrededor de los 40k pasos y luego disminuye gradualmente. La desviación estándar sigue un patrón similar. Notablemente, la proporción de ejemplos "oponentes" (aquellos con contribución negativa, que alejan al modelo de los parámetros finales) se mantiene baja (<1%) durante las etapas temprana y media, pero aumenta al 8–10% en las etapas tardías.
Dificultad del Texto: Los textos con mayor perplejidad (PPL) (más difíciles para el modelo) representan una mayor parte de la contribución normalizada durante la etapa media del preentrenamiento, mientras que la contribución se distribuye de forma más uniforme entre los niveles de dificultad en las etapas temprana y tardía.
Cambio de Dominio (El Crossover): Se observó un cambio temporal sistemático en los dominios de datos influyentes:
- Entrenamiento Temprano: Los datos relacionados con la literatura (ej. Libros, Pasatiempos) están más alineados con la trayectoria hacia los parámetros finales.
- Entrenamiento Tardío: Los datos relacionados con STEM (ej. Ciencia, Computación y Electrónica) se vuelven cada vez más alineados con la trayectoria.
- Este crossover cualitativo es ampliamente consistente en las configuraciones de los modelos, aunque el tiempo de las transiciones puede variar según la escala del modelo (los modelos más grandes muestran las transiciones más temprano).
Validación: La aproximación basada en checkpoints muestra una fuerte correlación (Pearson $r > 0.94$ en etapas tardías) con las contribuciones exactas a nivel de ejemplo calculadas mediante el reentrenamiento en modelos más pequeños. Los resultados son robustos a las variaciones en la inicialización de pesos y el orden de los datos, aunque el orden de los datos introduce una variación ligeramente mayor que la inicialización.
Comparación con Métodos Específicos de Tareas: A diferencia de los análisis de tipo TracIn dependientes de tareas, que producen patrones de atribución fuertemente dependientes del dominio de validación elegido, la medida propuesta independiente de la tarea revela consistentemente el crossover de Literatura-a-STEM independientemente de la tarea derivada específica.

Significado y Reivindicaciones
El artículo afirma proporcionar una visión tratable a nivel de trayectoria de cómo cambian los datos influyentes a lo largo del preentrenamiento. Al desacoplar el análisis de influencia de tareas de preentrenamiento específicas, los autores ofrecen una perspectiva que complementa los análisis existentes de tareas específicas.

Los resultados sugieren que los ejemplos de entrenamiento que más mueven al modelo hacia sus parámetros finales no son estáticos a lo largo del preentrenamiento. Este hallazgo motiva enfoques conscientes de la etapa para la composición de los datos de preentrenamiento y el diseño del currículo. Específicamente, el cambio observado hacia los datos de STEM en las etapas tardías proporciona apoyo empírico a las recientes recetas de preentrenamiento de LLM que aumentan la asignación de datos de matemáticas y código en las etapas finales de entrenamiento. Los autores posicionan su trabajo como una herramienta para guiar estrategias de preentrenamiento más matizadas que adapten la composición de los datos a través de las etapas de entrenamiento, en lugar de tratar una única mezcla de datos como igualmente adecuada durante todo el proceso.

Los autores mantienen la modestia respecto a las afirmaciones causales, señalando que su análisis caracteriza cómo varía la contribución a lo largo del entrenamiento en lugar de establecer directamente el efecto causal de cambiar las mezclas de datos en el rendimiento de las tareas derivadas. También reconocen limitaciones, como la dependencia de la distancia al cuadrado en el espacio de parámetros (que es sensible a la parametrización) y la suposición de SGD para la descomposición, a pesar de que en la práctica se utilizan optimizadores adaptativos.

Más como este