💬 NLP

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

Este artículo demuestra que seleccionar de forma ávida un subconjunto pequeño y arquitectónicamente informado de los componentes del modelo es tanto más efectivo como computacionalmente más eficiente que utilizar gradientes completos o proyecciones aleatorias para generar explicaciones basadas en instancias de grandes modelos de lenguaje.

Autores originales: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Publicado 2026-07-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender por qué un robot gigante y superinteligente tomó una decisión específica. Sabes que el robot fue entrenado con una biblioteca masiva de libros, pero ¿qué libro específico le enseñó ese dato en particular? Este es el mundo de las "explicaciones basadas en instancias" en la inteligencia artificial. Los científicos quieren rastrear la respuesta de un robot hasta el ejemplo de entrenamiento exacto que la influyó, casi como un detective buscando una huella dactilar. Para hacer esto, suelen observar los "gradientes" del robot. Piensa en un gradiente como un mapa gigante y multidimensional que muestra exactamente cómo cambiaría el cerebro del robot si viera una oración específica. El problema es que, para los robots modernos (llamados Modelos de Lenguaje Extensos), estos mapas son tan enormes que es imposible transportarlos. Un solo mapa para un modelo estándar ocupa más de 4 gigabytes de memoria—¡más que el archivo de una película completa! Debido a esto, los investigadores tienen que encoger estos mapas para que sean manejables. Han estado probando dos trucos principales: o bien desechar la mayor parte del mapa y quedarse solo con algunas piezas aleatorias, o comprimir todo el mapa en un resumen pequeño y borroso. Pero nadie sabía realmente qué truco era mejor para ayudar al detective a encontrar el libro correcto.

Este artículo, titulado "Select or Project?", se propone resolver este misterio. Los autores, Lukas Hinterleitner y su equipo de la Universidad de Viena, construyeron un nuevo campo de pruebas para ver si es mejor elegir cuidadosamente algunas partes importantes del cerebro del robot (Selección) o comprimir matemáticamente todo el cerebro en un espacio más pequeño (Proyección). Utilizaron un juego ingenioso para probarlo: tomaron una oración, la reformularon de una manera diferente y le pidieron a los "gradientes" del robot que encontraran la oración original entre una multitud de imitadores. Si los gradientes son buenos, deberían apuntar directamente a la original.

Los resultados fueron sorprendentes. El equipo descubrió que el método de "comprimir" (Proyección Aleatoria), que intenta mantener la forma de todo el mapa, no fue el mejor detective. En su lugar, un método que ellos llamaron "Selección Codiciosa" (Greedy Selection) ganó el juego. Este enfoque es como un bibliotecario inteligente que no lee toda la biblioteca, pero sabe exactamente qué tres estantes contienen las pistas más importantes. Al elegir cuidadosamente un conjunto pequeño y específico de las partes internas del robot (específicamente, ciertas capas que manejan la lógica y las conexiones de palabras), crearon un mapa diminuto y supernítido. En sus pruebas, esta selección dirigida no solo fue más precisa para encontrar el ejemplo de entrenamiento correcto, sino que también fue mucho más rápida y económica de computar.

Aquí está lo impactante: el mapa completo y gigante del cerebro del robot en realidad funcionó peor que este subconjunto pequeño y cuidadosamente elegido. En una prueba difícil donde el robot tenía que generar una nueva historia basada en un prompt reformulado, el mapa completo solo acertó la respuesta aproximadamente el 22% de las veces—apenas mejor que adivinar. Sin embargo, el pequeño grupo de partes seleccionadas acertó aproximadamente el 36% de las veces. Los autores sugieren que el mapa completo es en realidad "ruidoso", lleno de tanta información extra que ahoga las pistas reales. Al seleccionar las piezas más informativas, eliminaron el ruido y obtuvieron una señal más clara.

El artículo también analizó qué partes del cerebro del robot eran los mejores detectives. Descubrieron que no se trataba del tamaño de la parte; una pieza diminuta del cerebro podía ser más útil que una enorme. En cambio, se trataba de lo que esa parte hacía. Las partes responsables de la lógica interna del robot (llamadas capas MLP) fueron mucho mejores para encontrar los datos de entrenamiento correctos que las partes responsables de prestar atención a palabras específicas (como las partes "Key" y "Value" del mecanismo de atención). Curiosamente, las partes al principio y al final de la cadena de procesamiento del robot fueron las más útiles, mientras que las partes intermedias parecían confundirse y ser menos útiles.

Al final, los autores concluyen que, para explicar cómo funcionan estos modelos de IA gigantes, no necesitamos el cuadro completo. Solo necesitamos las piezas adecuadas. Su estrategia de "Selección Codiciosa" es una forma práctica y eficiente de hacer que estas explicaciones sean posibles sin necesidad de supercomputadoras que funcionen durante cientos de horas. Aunque probaron esto en un modelo específico con alrededor de 1.2 mil millones de parámetros, sus hallazgos sugieren que, para el futuro de la transparencia de la IA, ser selectivo y exigente es mucho mejor que intentar mantenerlo todo.

Resumen Técnico: ¿Seleccionar o Proyectar? Evaluación de Vectores de Baja Dimensión para la Explicación de Datos de Entrenamiento de LLM

Planteamiento del Problema
Los métodos basados en gradientes para explicaciones basadas en instancias de los Modelos de Lenguaje Extensos (LLM) enfrentan una barrera computacional significativa debido a la inmensa dimensionalidad de los gradientes del modelo. Para un modelo de 1 billón de parámetros, un solo vector de gradiente requiere más de 4 GB de memoria, lo que hace que el análisis del gradiente completo sea intratable. Las prácticas actuales suelen restringir la estimación de la influencia a un subconjunto de los parámetros del modelo (por ejemplo, capas específicas o adaptadores LoRA) para hacer que la computación sea factible. Sin embargo, estos subconjuntos se eligen frecuertemente ad hoc sin una justificación sistemática. Además, se utilizan técnicas alternativas de reducción de dimensionalidad, como la proyección aleatoria, pero carecen de una evaluación comparativa frente a estrategias de selección conscientes de la arquitectura. El problema central es determinar si es más efectivo seleccionar un subconjunto disperso y estructuralmente informado de los componentes del modelo o proyectar el gradiente completo de alta dimensión hacia un espacio de menor dimensión para capturar la influencia de los datos de entrenamiento.

Metodología
Los autores proponen un nuevo benchmark libre de reentrenamiento para evaluar estrategias de reducción de dimensionalidad para explicaciones basadas en instancias. La evaluación enmarca el problema como una tarea de recuperación: dado un caso de prueba (específicamente, una versión parafraseada de una muestra de entrenamiento o una completitud generada por el modelo), el sistema debe identificar el ejemplo de entrenamiento original entre un conjunto de distractores basándose en la similitud del gradiente.

Representación del Gradiente: El estudio utiliza gradientes de pérdida con respecto a los parámetros del modelo ( $\nabla_\theta L$ ). El gradiente completo se construye aplanando los gradientes de los componentes (por ejemplo, proyecciones de consulta, clave, valor y puertas MLP) en un solo vector.
Configuración de la Evaluación:
- Conjuntos de Datos: Los autores utilizan el subconjunto LIMA del conjunto de datos Tülu 2. Generan dos conjuntos de consultas: un conjunto Parafraseado ( $D_p$ ) usando GPT-4o-mini para parafrasear los prompts preservando la semántica, y un conjunto Generado por el Modelo ( $D_m$ ) donde el modelo ajustado genera completitudes para los prompts parafraseados.
- Métrica: La precisión de la recuperación se mide verificando si la similitud de coseno entre el gradiente de la consulta y el gradiente de la muestra de entrenamiento original es mayor que su similitud con los distractores (seleccionados mediante BM25).
Estrategias Comparadas:
- Gradiente Completo: Usar el conjunto completo de parámetros (línea base).
- Proyección Aleatoria (Proyectar): Proyectar el gradiente completo en un espacio de menor dimensión ( $d \ll M$ ) utilizando una matriz aleatoria, implementada componente a componente para evitar la materialización de matrices masivas. Esto preserva la estructura geométrica del gradiente completo.
- Selección de Componentes Voraz (Seleccionar): Un algoritmo consciente de la arquitectura que selecciona iterativamente un subconjunto de componentes del modelo (hasta un presupuesto de parámetros) que maximiza la precisión de la recuperación. Esto aprovecha la linealidad de los productos punto para reconstruir las puntuaciones de similitud a partir de valores escalares precomputados sin almacenar vectores de alta dimensión.

Contribuciones Clave

Nuevo Benchmark: La introducción de un benchmark eficiente basado en recuperación diseñado para probar qué tan bien diferentes representaciones de baja dimensión soportan la identificación de ejemplos de entrenamiento influyentes.
Comparación Principista: Una evaluación sistemática que compara la selección voraz consciente de la arquitectura contra la proyección aleatoria que preserva la geometría y las líneas base de gradiente completo.
Demostración de Eficiencia y Precisión: Evidencia empírica que muestra que la selección de componentes dirigida produce atribuciones más precisas y es significativamente más eficiente computacionalmente que la proyección aleatoria.

Resultos

Limitaciones del Gradiente Completo: Aunque el gradiente completo funciona bien en el entorno parafraseado (precisión de 0.993), su rendimiento colapsa en el entorno más desafiante de generación por el modelo (precisión de 0.218), apenas superando el azar (0.20).
Varianza de los Componentes: No todos los componentes contribuyen por igual. En el entorno generado por el modelo, las proyecciones de puerta MLP y de up-projection portan la señal más informativa, mientras que las proyecciones de clave y valor de atención contribuyen poco o funcionan peor que el azar. El recuento de parámetros no se correlaciona linealmente con el rendimiento; el rol funcional es un determinante más crítico.
Selección vs. Proyección:
- Precisión: Un subconjunto de componentes seleccionado de forma voraz (usando menos del 5% de los parámetros) logra una precisión casi perfecta (0.998) en el entorno parafraseado y supera significativamente al gradiente completo en el entorno generado por el modelo (0.36 vs. 0.218).
- Geometría vs. Utilidad: Si bien la proyección aleatoria preserva eficazmente la geometría global del gradiente completo (alta similitud de coseno con las puntuaciones del gradiente completo), esta alta fidelidad no se traduce en una precisión de recuperación óptima. Seleccionar componentes basados en su utilidad específica para la tarea de recuperación es superior a preservar la geometría global.
Eficiencia Computacional: El método de selección voraz es sustancialmente más eficiente. La precomputación de los productos punto tomó ~4 horas, mientras que la selección tomó minutos. En contraste, las líneas base de proyección aleatoria requirieron más de 900 horas (sin caché) debido a la intensidad computacional de proyectar vectores masivos.

Significancia y Reivindicaciones
El artículo afirma que, para las explicaciones basadas en instancias de grandes modelos, la selección de componentes dirigida es una estrategia práctica y superior en comparación con la proyección aleatoria o el uso del gradiente completo. La idea central es que un subconjunto disperso y cuidadosamente elegido de componentes del modelo puede proporcionar una señal más clara y discriminativa para tareas específicas que el gradiente completo, que es ruidoso. Este enfoque hace que las explicaciones basadas en instancias para modelos grandes sean computacionalmente más factibles sin sacrificar, e incluso mejorando, la precisión de la atribución. Los autores concluyen que restringir la estimación de la influencia a un subconjunto estructuralmente informado de capas es un camino viable, desafiando la suposición de que el gradiente completo es la fuente óptima de información.

El trabajo es modesto en su alcance, señalando limitaciones respecto al tamaño del modelo (1.2 billones de parámetros) y la naturaleza estática de la evaluación (uso de un único checkpoint). Los autores sugieren que trabajos futuros deberían explorar la generalización a través de diferentes arquitecturas, escalas y métodos de atribución dinámica que rastreen la influencia a lo largo del proceso de entrenamiento.

Más como este