What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

Resumen Técnico: Delimitación, Sondeo y Seguimiento de Conceptos en LLM

Enunciado del Problema
A medida que los Modelos de Lenguaje Grandes (LLM) influyen cada vez más en la toma de decisiones, existe una necesidad crítica de comprender sus "procesos de pensamiento" internos. Si bien investigaciones anteriores han demostrado que los sondas lineales pueden detectar propiedades lingüísticas específicas (por ejemplo, partes del discurso, tiempo verbal) y conceptos (por ejemplo, tiempo, ubicación, verdad) dentro de las incrustaciones de los LLM, los métodos existentes para la detección de conceptos enfrentan limitaciones significativas. Los Autoencoders Dispersos (SAE), por ejemplo, requieren un entrenamiento no supervisado costoso computacionalmente y carecen de control sobre qué conceptos específicos se detectan, lo que los hace inadecuados para la supervisión dirigida. Otros enfoques, como solicitar a un LLM que identifique un concepto, son demasiado costosos para la supervisión continua, ya que requieren invocaciones separadas del modelo. Este artículo aborda la necesidad de un método de bajo costo y escalable para crear sondas específicas que puedan monitorear la presencia y ausencia de conceptos implícitos dentro de las incrustaciones de los LLM durante su funcionamiento normal.

Metodología
Los autores proponen una tubería de tres etapas para crear y utilizar sondas de conceptos:

1. Delimitación de Conceptos: La innovación central es un método semiautomático para crear conjuntos de datos binarios de alta calidad para conceptos específicos.

   • Generación de Plantillas: Los autores crearon 30.000 plantillas de oraciones a partir de textos de Project Gutenberg, filtradas para asegurar que se centran en sujetos humanos y contienen estructuras coherentes.
   • Generación de Ejemplos: Utilizando un LLM con instrucciones (gpt-4o), generaron pares de ejemplos para cada concepto (presente vs. ausente) imitando la estructura sintáctica de las plantillas mientras alteraban la semántica para reflejar el concepto objetivo. Este enfoque busca prevenir la "filtración de etiquetas", donde el modelo podría aprender correlaciones espurias en lugar del concepto en sí.
   • Refinamiento y Etiquetado: Para garantizar la fiabilidad, un clasificador LLM con instrucciones reetiquetó todos los ejemplos generados. Las instrucciones se refinaron iterativamente para lograr una precisión superior al 90% en conjuntos de validación etiquetados manualmente. Los conjuntos de datos se filtraron para retener solo pares con etiquetas opuestas, asegurando que la sonda aprenda el concepto y no similitudes estructurales. Se seleccionaron cuatro conceptos: ambición, investigación, democracia y envidia.

2. Entrenamiento y Evaluación de la Sonda:

   • Entrenamiento: Se entrenaron sondas lineales (clasificadores binarios) sobre las incrustaciones extraídas de varias capas de los LLM objetivo. Los autores probaron dos estrategias de incrustación representativas: la incrustación del token final (N-ésima) y el promedio de todas las incrustaciones en una capa.
   • Tareas de Control: Para verificar que las sondas detectan conceptos codificados en las incrustaciones en lugar de aprender la tarea independientemente, los autores emplearon tareas de control:
     • Aleatorización: El entrenamiento con incrustaciones o etiquetas aleatorizadas resultó en una precisión que cayó a ~50%, confirmando que las sondas dependen de información significativa en las incrustaciones.
     • Reducción de Parámetros: Las sondas se restringieron a menos de 80 parámetros (mediante PCA). Se mantuvo una alta precisión incluso con una compresión significativa, lo que sugiere que las incrustaciones codifican las características de manera robusta.

3. Seguimiento de Conceptos (Auge y Declive):

   • Conjuntos de Datos de Historias: Los autores construyeron 50 historias de tres párrafos para cada concepto. El concepto objetivo estaba presente solo en las oraciones de transición que conectaban los párrafos y ausente en el resto.
   • Monitoreo Dinámico: Las sondas entrenadas se aplicaron a las incrustaciones de contextos de entrada en expansión (palabra por palabra). Esto permitió a los autores observar cómo fluctúa la probabilidad de la presencia del concepto a medida que evoluciona el contexto, rastreando específicamente el "auge y declive" de la señal del concepto.

Resultados Clave

• Inferencia de Conceptos: El estudio confirma que los LLM (probados en las familias Llama-3-8B, Gemma-2 y Qwen2.5) infieren los cuatro conceptos objetivo. Las sondas lograron una precisión significativamente superior al 50% en la mayoría de las capas, mostrando la capa de incrustación (capa 0) una precisión sorprendentemente alta (87%) para ambición al usar incrustaciones promedio, aunque esto no se mantuvo para contextos más largos.
• Eficiencia de la Sonda: Las sondas lograron un rendimiento sólido con muy pocos parámetros. Para ambición, la precisión se mantuvo por encima del 75% con solo 40 parámetros y se estabilizó alrededor de los 80 parámetros, muy por debajo de la dimensión de incrustación del modelo (4.096 para Llama-3-8B).
• Dinámica de Seguimiento: Las sondas rastrearon con éxito la presencia y ausencia de conceptos en tiempo real a medida que se expandía el contexto de entrada. Al utilizar incrustaciones del token final, la salida de la sonda subió por encima del umbral de 0.5 cuando el concepto estaba presente en el texto y cayó por debajo cuando estaba ausente. Por el contrario, las incrustaciones medias acumulativas diluyeron la señal, fallando en capturar estas dinámicas, lo que indica que la inferencia de conceptos en los LLM implica más que simples representaciones de bolsa de palabras.
• Especificidad de Capa: Se encontró que diferentes capas en diferentes modelos eran óptimas para rastrear conceptos específicos. Por ejemplo, en Llama-3-8B, la capa 13 fue la mejor para rastrear ambición, mientras que la capa 31 fue la mejor para investigación.

Significado y Afirmaciones
El artículo afirma dar los "primeros pasos" hacia una capacidad para crear conjuntos amplios de sondas para monitorear LLM. Sus contribuciones principales son:

1. Una metodología reproducible y semiautomática para delimitar conceptos en conjuntos de datos binarios que minimizan la filtración accidental de etiquetas.
2. Demostración de que las sondas lineales pueden detectar conceptos implícitos con alta precisión utilizando parámetros mínimos (<80), lo que las hace computacionalmente económicas.
3. Evidencia de que estas sondas pueden servir como monitores continuos de bajo costo, capaces de rastrear el "auge y declive" dinámico de los conceptos a medida que se expande el contexto.
4. La publicación de los conjuntos de datos creados (plantillas y ejemplos específicos de conceptos) para permitir más investigación en la explicabilidad de los LLM.

Los autores mantienen un tono modesto, reconociendo limitaciones como la posibilidad de que los datos generados sigan distribuciones específicas y la dependencia de clasificadores basados en LLM para el etiquetado. Plantean que, si bien su trabajo actual se centra en cuatro conceptos, escalar este proceso podría permitir el monitoreo de nuevos modelos y la exploración de vínculos causales entre conceptos internos inferidos y salidas generadas, avanzando así en la seguridad y la explicabilidad de los LLM.