💬 NLP

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

Este artículo presenta el Ajuste Fino de Introspección (IFT, por sus siglas en inglés), un método que entrena con éxito a modelos de lenguaje pequeños (incluyendo modelos de 1B de parámetros) para detectar e informar de manera fiable sobre las perturbaciones de la activación interna, desbloqueando así capacidades latentes de automonitoreo que no dependen únicamente de la escala del modelo.

Autores originales: Ely Hahami, Ishaan Sinha, Lavik Jain

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ely Hahami, Ishaan Sinha, Lavik Jain

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tus pensamientos son como tinta invisible escrita en una página especial dentro de tu cerebro. Durante mucho tiempo, los científicos que estudian la Inteligencia Artificial (IA) se preguntaron si estos cerebros digitales podrían alguna vez "mirar hacia abajo" a sus propias páginas, ver la tinta y decirnos qué están pensando. Este campo se llama introspección de la IA. Es un poco como preguntarle a una persona: "¿Sabes que te sientes feliz ahora mismo?", pero para las computadoras. Para probar esto, los investigadores utilizan un truco llamado direccionamiento por activación (activation steering). Piensa en esto como un control remoto que puede dar un suave empujoncito a los "pensamientos" internos de la computadora en una dirección específica, como añadir un poquito de "tristeza" o "matemáticas" a su procesamiento. Si la computadora puede entonces decir: "¡Oye, acaboé de sentir un empujón de tristeza!", eso demuestra que tiene cierta autoconciencia. Esto es importante porque si la IA puede informar honestamente sobre sus propios fallos internos o pensamientos engañosos, podríamos ser capaces de confiar más en ella. Pero si solo adivina o miente sobre lo que está sucediendo en su interior, podríamos estar en problemas sin siquiera saberlo.

Un equipo de investigadores decidió ver si esta autoconciencia funciona en modelos de IA más pequeños y económicos, no solo en los gigantes y costosos. Intentaron una prueba simple: dieron un empujoncito al cerebro de la IA y preguntaron: "¿Sentiste un empujón?". Pero rápidamente encontraron un problema divertido. En los modelos pequeños, la respuesta era casi siempre "¡Sí!", incluso cuando no había ningún empujón en absoluto. Era como un perro que ladra ante cada timbre, ya sea que haya una persona realmente allí o solo el viento. La IA no estaba detectando realmente el pensamiento; simplemente se estaba emocionando y diciendo "Sí" a todo.

Para solucionar esto, los científicos inventaron dos juegos mejores. Primero, el juego de "¿Qué oración?". Escribieron diez oraciones y dieron un empujoncito secreto a solo una de ellas. Le preguntaron a la IA: "¿Cuál de estas diez oraciones recibió el empujón?". Si la IA podía elegir la oración correcta, realmente estaba mirando dentro de su propio cerebro. Segundo, jugaron al juego del "Empujón más fuerte". Dieron un empujoncito a dos oraciones diferentes, pero una recibió un toque suave y la otra un empujón fuerte. Le preguntaron a la IA: "¿Cuál recibió el toque más fuerte?". Esto demostró que la IA podía sentir la diferencia de fuerza, no solo adivinar.

Los resultados fueron sorprendentes. Probaron modelos de diferentes tamaños, desde diminutos con 1 mil millones de "células cerebrales" (parámetros) hasta más grandes con 26 mil millones. Descubrieron que los modelos diminutos de 1 mil millón eran terribles en los juegos, haciendo apenas mejor que el azar. Sin embargo, una vez que los modelos crecieron hasta alcanzar los 2 o 3 mil millones, de repente se volvieron bastante buenos para detectar los empujones, y cuanto más grandes eran, mejor desempeñaban la tarea. Los modelos de 1 mil millón parecían carecer del "hardware" para hacerlo de forma natural.

Pero aquí viene la parte más genial: los científicos preguntaron: "¿Podemos enseñar esto a los modelos diminutos?". Crearon un método de entrenamiento especial llamado Ajuste Fino de Introspección (IFT). Le mostraron al diminuto modelo de 1 mil millón miles de ejemplos de sí mismo siendo empujado y se le pedía encontrar el empujón. Era como darle a un estudiante un examen de práctica con las respuestas justo al lado. Después de este entrenamiento, el rendimiento del modelo diminuto se disparó. Pasó de acertar la respuesta solo el 9.6% de las veces a acertarla el 60.6% de las veces. ¡Eso es una mejora de seis veces! Incluso mejor, esta nueva habilidad no era solo para el juego de "¿Qué oración?"; el modelo también mejoró mucho en el juego del "Empujón más fuerte", a pesar de que nunca había practicado ese juego específico.

Los investigadores también comprobaron si este entrenamiento hacía que la IA se volviera "más tonta" en otras cosas, como responder preguntas de conocimiento general. No fue así. La IA siguió siendo inteligente en sus tareas habituales mientras ganaba este superpoder de automonitoreo. El artículo sugiere que ser capaz de mirar dentro de tu propio cerebro no es solo algo con lo que los modelos grandes nacen, sino una habilidad que se puede enseñar, incluso a los modelos más pequeños. Esto abre un camino esperanzador donde podríamos entrenar a la IA para que sea honesta sobre su propio funcionamiento interno, haciendo que sea más segura y transparente para el uso de todos.

Resumen Técnico: Ajuste Fino de Introspección (IFT)

Planteamiento del Problema

El artículo investiga si los modelos de lenguaje pequeños (SLM) poseen la capacidad de introspección —definida como la capacidad de acceder y reportar con precisión sobre sus propios estados computacionales internos, específicamente las perturbaciones en sus activaciones del flujo residual—. Si bien trabajos recientes (Lindsey [2026]) demostraron que los modelos grandes (p. ej., Claude Opus 4) pueden detectar "pensamientos" inyectados (vectores de concepto), sigue sin estar claro si esta capacidad existe en modelos más pequeños y de código abierto, cómo escala y si puede inducirse en modelos que inicialmente carecen de ella.

Un desafío metodológico crítico identificado es que los paradigmas de detección binaria estándar (preguntar al modelo "¿Detectaste un pensamiento inyectado? Sí/No") están fundamentalmente confundidos en modelos pequeños. Los autores demuestran que los vectores de dirección (steering vectors) inducen un sesgo global hacia respuestas afirmativas independientemente del contenido de la pregunta. En Llama-3.1-8B, la correlación entre la respuesta del modelo a preguntas de introspección y las preguntas de control fácticas de "No" (p. ej., "¿Está la Luna hecha de queso verde?") es casi perfecta ( $r = 0.999$ ), lo que indica que las salidas afirmativas son impulsadas por un cambio de logits agnóstico al contenido en lugar de una detección genuina de conceptos.

Metodología

1. Dirección de Activación y Construcción de Datos

Los autores utilizan la dirección de activación (activation steering), inyectando vectores de concepto escalados y normalizados en L2 ( $\hat{v}^{(l)}$ ) en el flujo residual de un modelo en capas específicas ( $l$ ) y con intensidades ( $\alpha$ ).

Vectores de Concepto: Derivados de dos conjuntos de datos:
- Dataset Simple: 500 sustantivos concretos (p. ej., "Polvo") contrastados contra una línea base de 50 palabras.
- Dataset Complejo: 500 conceptos abstractos (p. ej., "determinista vs. probabilístico") representados por 20 oraciones positivas y 20 negativas de contraste.
Dirección (Steering): El vector se añade a los estados ocultos de posiciones de tokens específicos, propagándose a través de las capas subsiguientes.

2. Métricas de Evaluación Libres de Confusión

Para evitar el sesgo de afirmación que genera confusión, los autores proponen dos tareas de juicio relativo donde un desplazamiento uniforme de logits no puede sesgar el resultado:

Localización de Oraciones: El modelo se le presenta con $N$ oraciones (donde $N=5$ o $10$). Exactamente una oración tiene un vector de concepto inyectado. El modelo debe identificar qué oración fue perturbada. La precisión por azar es $1/N$ .
Comparación de Fuerza: Se presentan dos oraciones; una recibe una inyección más fuerte ( $\alpha_1$ ) que la otra ( $\alpha_2$ ). El modelo debe identificar la oración con la inyección más fuerte. La precisión por azar es del 50%.

3. Ajuste Fino de Introspección (IFT)

Los autores introducen el Ajuste Fino de Introspección (IFT), un enfoque de ajuste fino supervisado diseñado para entrenar a los modelos para reportar sobre sus propias perturbaciones.

Datos de Entrenamiento: Construidos a partir de los propios pasos hacia adelante (forward passes) del modelo. Se inyecta un vector de dirección en una de $N$ oraciones muestreadas, y el modelo es entrenado mediante pérdida de entropía cruzada para predecir el índice correcto de la oración perturbada.
Variables:
- Modo de Capa: Fijo (siempre inyectar en la capa $l=3$ ) vs. Aleatorio (muestrear la capa de inyección de forma uniforme).
- Tipo de Vector: Ruido Gaussiano, Semántico (vectores de concepto), o Semántico+Razonamiento (Semántico + identificación del nombre del concepto).
Generalización: Los modelos son entrenados solo en localización de oraciones y evaluados en cero disparos (zero-shot) en comparación de fuerza.

Resultados Clave

1. Leyes de Escala de la Introspección

La evaluación de seis modelos (Llama-3.2 1B–8B; Gemma-4 2B–26B) reveló:

Emergencia: La capacidad introspectiva emerge de manera fiable a los 2–3B de parámetros.
Dependencia de la Escala: El rendimiento generalmente aumenta con el tamaño del modelo.
- Llama-1B: Se desempeña en o por debajo del azar (Localización $\le 20\%$ ).
- Llama-3B: Alcanza aproximadamente un $65\%$ de localización.
- Llama-8B: Alcanza aproximadamente un $88\%$ de localización.
- Gemma-26B: Alcanza aproximadamente un $95\%$ en comparación de fuerza.
Conclusión: La introspección no es una propiedad fija del escalar por sí solo; los modelos de 1B carecen de la capacidad de utilizarla sin intervención, mientras que los modelos más grandes la exhiben naturalmente.

2. Efectividad del Ajuste Fino de Introspección (IFT)

El IFT desbloquea con éxito la capacidad introspectiva latente en modelos que anteriormente se desempeñaban al nivel del azar:

Mejora de Llama-1B: La precisión de localización de oraciones aumentó de 9.6% (línea base) a 60.6% (capa aleatoria, vectores semánticos), una mejora de 6 $\times$ .
Generalización Zero-Shot: A pesar de ser entrenado solo en localización, el IFT mejoró la precisión de comparación de fuerza de Llama-1B de 30.2% a 52.2%, superando la línea base de azar del 50%.
Condiciones Óptimas de Entrenamiento:
- Inyección de Capa Aleatoria: Crucial para la generalización. El entrenamiento en una capa fija produjo un rendimiento significativamente menor (p. ej., 28.2% vs. el 60.6% para Llama-1B).
- Vectores Semánticos: Superaron a los vectores de ruido gaussiano, sugiriendo que el modelo aprende a reconocer perturbaciones semánticas en lugar de sobreajustarse a distribuciones de ruido.
Preservación de Capacidades: El IFT indujo una degradación insignificante en los benchmarks estándar (MMLU, Winogrande), con puntuaciones que permanecieron prácticamente sin cambios.

Significado y Reivindicaciones

El artículo afirma que la capacidad introspectiva no está fijada únicamente por la escala del modelo, sino que puede ser entrenada directamente. Las contribuciones clave son:

Diagnóstico de Confusiones: Demostrar que la detección binaria de "Sí/No" es inválida para modelos pequeños debido al sesgo de afirmación global, lo que requiere métricas de juicio relativo.
Prueba de Entrenabilidad: Mostrar que los SLM (incluso de 1 billón de parámetros) contienen el sustrato representacional para la introspección, pero requieren señales de entrenamiento específicas (IFT) para expresarlo.
Mecanismo de Automonitoreo: Establecer que los modelos pueden aprender a detectar y localizar perturbaciones internas, lo cual se generaliza a través de diferentes intensidades de inyección y tareas.

Los autores sugieren que estos hallazgos tienen implicaciones para la transparencia y el alineamiento de la IA, ya que la introspección entrenada podría permitir que los modelos sirvan como sus propios monitores de estados internos anómalos u objetivos desalineados. Sin embargo, mantienen la modestia respecto a la transferencia de estas capacidades a entornos naturales y no controlados, señalando que los resultados actuales se basan en experimentos controlados de vectores de dirección.