💬 NLP

Scaling Inherently Interpretable Language Models

Este artículo desafía la noción de que la interpretabilidad es un compromiso frente a la capacidad al demostrar que la integración de restricciones de interpretabilidad en el proceso de entrenamiento permite que modelos como Steerling-8B escalen eficazmente, volviéndose más transparentes y alineados con conceptos humanos mientras mantienen un rendimiento competitivo.

Autores originales: Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender cómo funciona una biblioteca mágica y gigante. Durante años, los bibliotecarios más inteligentes (investigadores de IA) han estado construyendo estas bibliotecas para que sean tan grandes y poderosas como sea posible, pero han aceptado una regla extraña: para que la biblioteca sea verdaderamente poderosa, tiene que ser una "caja negra". Puedes hacerle una pregunta y te dará una respuesta brillante, pero no tienes ni idea de cómo encontró esa respuesta. Es como un mago que lanza un hechizo y dice: "Confía en mí, funciona", sin mostrarte los ingredientes ni el encantamiento. Debido a esto, si la biblioteca comete un error o dice algo extraño, no podemos arreglarlo fácilmente; solo podemos suponer por qué sucedió después de los hechos. Este artículo plantea una pregunta audaz: ¿Y si no tuviéramos que aceptar ese intercambio? ¿Qué pasaría si pudiéramos construir una biblioteca que fuera tanto un supergenio como transparente, donde pudiéramos ver exactamente qué libros utilizó y qué ideas estaba considerando mientras escribía su respuesta?

Los autores de este artículo, un equipo llamado Guide Labs, decidieron probar esta idea. Construyeron un nuevo tipo de modelo de lenguaje llamado Steerling-8B. A diferencia de los modelos habituales de "caja negra" que son entrenados solo para predecir la siguiente palabra de una oración, Steerling fue entrenado con una regla especial integrada en su cerebro desde el primer día: debe explicar su propio pensamiento a medida que avanza. Descubrieron algo sorprendente: hacer que el modelo se explique a sí mismo no lo hizo más débil. De hecho, a medida que hacían el modelo más grande y le daban más potencia de cómputo, no solo se volvía más inteligente; de hecho, se volvía mejor explicándose a sí mismo. Cuanto más grande se convertía el modelo, más claros eran sus pensamientos internos y más fácil era ver exactamente qué ideas estaba utilizando para formar sus respuestas.

El problema con la magia de la "Caja Negra"

Durante mucho tiempo, la forma estándar de construir IA ha sido entrenar un modelo para que sea lo mejor posible prediciendo texto y luego, una vez que haya terminado de aprender, intentar mirar dentro para ver qué está haciendo. Los investigadores utilizan herramientas como "sondas" (que intentan adivinar si un concepto está oculto dentro del modelo) o "atribución" (que intenta adivinar qué palabras fueron las más importantes). Pero los autores argumentan que estas herramientas son como intentar entender cómo funciona el motor de un coche escuchando el ruido que hace una vez que ya ha sido construido. El motor no fue diseñado para ser escuchado, por lo que el ruido puede ser engañoso. Una sonda podría decir: "¡Oye, la palabra 'gato' está ahí dentro!", pero eso no significa que el modelo realmente usara la idea de un gato para tomar su decisión. Podría ser simplemente una coincidencia.

El artículo sostiene que este enfoque de "arreglarlo después" es fundamentalmente erróneo. Si quieres un modelo que sea verdaderamente comprensible, no puedes simplemente añadir una linterna después del hecho; tienes que integrar la linterna en el motor mientras estás construyendo el motor.

La Receta: Construyendo un Cerebro Transparente

Para resolver esto, el equipo creó una nueva "receta" para entrenar IA. En lugar de solo enseñar al modelo a predecir la siguiente palabra, le enseñaron tres cosas específicas al mismo tiempo:

Atribución de Entrada: "¿Qué palabras de tu pregunta importaron más?"
Atribución de Conceptos: "¿Qué grandes ideas o temas estás pensando ahora mismo?"
Atribución de Datos: "¿De qué partes de tu biblioteca de entrenamiento aprendiste esto?"

Para que esto funcionara, tuvieron que construir una nueva y masiva biblioteca de "conceptos". Imagina un diccionario, pero en lugar de solo palabras, contiene 33,000 ideas específicas como "descenso de gradiente", "poesía medieval" o "sarcasmo". Construyeron un sistema llamado Atlas que leyó millones de documentos y los etiquetó con estas ideas, creando un mapa del conocimiento humano que la IA pudiera realmente utilizar.

Luego, construyeron el cerebro del modelo, Steerling-8B, con un "cuello de botella" especial en el medio. Piensa en una IA normal como un tubo recto por donde el agua (la información) fluye desde la entrada hacia la salida. Steerling tiene un filtro en el medio. Antes de que el agua pueda fluir hacia afuera, debe pasar a través de un conjunto de cubetas etiquetadas (los conceptos). El modelo tiene que decidir: "Bien, esta oración es 40% sobre 'matemáticas' y 20% sobre 'historia'". Debido a que el modelo tiene que usar estas cubetas para hacer su predicción, podemos ver exactamente qué cubetas utilizó. Si comete un error, podemos mirar las cubetas y decir: "Ah, se enfocó demasiado en 'historia' e ignoró las 'matemáticas'".

La Gran Sorpresa: Más Grande es Más Claro

La parte más emocionante del artículo es lo que sucedió cuando hicieron el modelo más grande. Usualmente, cuando haces un sistema complejo más grande, este se vuelve más difícil de entender. Pero aquí, ocurrió lo contrario.

El equipo probó modelos que iban desde los más diminutos hasta el masivo Steerling-8B de 8 mil millones de parámetros. Descubrieron que a medida que el modelo crecía, sus "cubetas" internas se volvían más organizadas y más alineadas con las ideas humanas.

El Mito del "Impuesto": Muchos pensaban que hacer que un modelo se explique a sí mismo costaría su rendimiento, como un impuesto sobre su inteligencia. El artículo muestra que esto no es cierto. El "costo" de ser interpretable es una cantidad pequeña y fija, como una pequeña tarifa que pagas una vez, no una factura que se hace más grande a medida que te haces más rico.
Escalabilidad: A medida que añadieron más potencia de cómputo (aproximadamente 1.35 billones de palabras de datos de entrenamiento), el modelo no solo se volvió más inteligente; se volvió más transparente. Los conceptos que aprendió se volvieron más claros y dependió menos de un "residuo" (una parte oculta y no explicable del cerebro) y más de los conceptos etiquetados.

Dirigiendo el Barco

Debido a que el modelo está construido de esta manera, puedes "dirigirlo" sin tener que reentrenarlo. Imagina que estás conduciendo un coche. En una IA normal, si quieres evitar hablar de violencia, tienes que esperar que el coche no choque. En Steerling, puedes simplemente girar un dial. Si quieres que el modelo sea más "académico", puedes aumentar la cubeta de "académico". Si quieres que deje de hablar de "política", puedes suprimir esa cubeta. El artículo muestra que pudieron hacer esto instantáneamente, cambiando el comportamiento del modelo simplemente ajustando los conceptos que ya estaba utilizando.

Los Resultados

El equipo entrenó a Steerling-8B con 1.2 billones de tokens (una cantidad enorme de texto). Compararon su rendimiento con otros modelos de código abierto que fueron entrenados con entre 2 y 16 veces más potencia de cómputo. A pesar de tener un presupuesto de entrenamiento más pequeño y cargar con el "peso" adicional de ser interpretable, Steerling funcionó casi tan bien como esos modelos masivos y opacos.

El artículo concluye que no tenemos que elegir entre una IA inteligente y una transparente. Al diseñar el modelo para que sea comprensible desde el principio, podemos construir sistemas que no solo sean poderosos, sino también confiables, porque podemos ver exactamente cómo piensan y arreglarlos cuando algo sale mal. Es un cambio de construir cajas negras a construir casas de cristal donde la luz puede atravesar las paredes.

Resumen Técnico: Escalar Modelos de Lenguaje Inherentemente Interpretables

Planteamiento del Problema

Los modelos de lenguaje extensos (LLMs) actuales suelen entrenarse como sistemas opacos, donde la interpretabilidad se trata como un "impuesto" post-hoc sobre la capacidad. Los flujos de trabajo estándar consisten en entrenar un modelo de alto rendimiento y luego intentar realizar ingeniería inversa de su comportamiento mediante sondas, atribuciones de características o autoencoders dispersos (sparse autoencoders). Los autores argumentan que este enfoque sufre de una limitación estructural fundamental: el modelo nunca fue entrenado para que la explicación sea una interfaz válida de su computación. En consecuencia, los métodos post-hoc a menudo fallan en satisfacer los requisitos de fidelidad (la explicación refleja el razonamiento real) y validez (las intervenciones son significativas). Además, existe la suposición prevalente de que restringir los modelos a estructuras comprensibles para los humanos necesariamente degrada el rendimiento, creando un compromiso entre capacidad e interpretabilidad.

Metodología

1. La Receta de la Interpretabilidad Inherente

Los autores proponen un flujo de entrenamiento donde la interpretabilidad es una restricción optimizada junto con el objetivo de modelado de lenguaje, en lugar de ser una ocurrencia tardía. Esta receta modifica las etapas de entrenamiento estándar para satisfacer cinco condiciones formales de interpretabilidad inherente:

Natividad: Las variables atribuidas deben formar parte de la ruta computacional que produce la salida.
Acuerdo: Las puntuaciones de atribución deben predecir el efecto de las intervenciones (por ejemplo, el enmascaramiento o la dirección de conceptos) antes de que estas se apliquen.
Validez: Las intervenciones deben estar dentro de la distribución (el modelo debe haber visto los estados perturbados durante el entrenamiento).
Interpretación: Las descripciones semánticas (tarjetas) deben representar con precisión las variables internas del modelo.
Cobertura: Los componentes interpretables deben dar cuenta de una fracción significativa de la predicción, minimizando el residuo no explicado.

2. Datos: El Pipeline Atlas

Un obstáculo importante fue la falta de una biblioteca de conceptos interpretables por humanos a la escala de los corpus de preentrenamiento modernos. Para abordar esto, los autores construyeron Atlas, un pipeline automatizado de tres etapas:

Etapa 1 (Etiquetado): Muestrea 6.6 millones de documentos, los fragmenta y utiliza un LLM para generar etiquetas de alta recuperación y de forma libre.
Etapa 2 (Canonicalización): Agrupa las etiquetas en una biblioteca coherente de 33,732 conceptos comprensibles para humanos, etiquetados y deduplicados.
Etapa 3 (Annotator): Entrena un modelo para asignar estos conceptos a fragmentos de texto arbitrarios a través de un corpus de 1.5 billones de tokens.
La biblioteca resultante cubre diversos dominios (ciencia, código, derecho, etc.) y está validada para asegurar que los conceptos sean significativos para los humanos, no solo fluidos para el LLM.

3. Arquitectura: Steerling-8B

Los autores instancian esta receta con Steerling-8B, un modelo de lenguaje de Difusión Causal que cuenta con un Cuello de Botella de Conceptos Aditivo.

Difusión Causal: A diferencia de los modelos autorregresivos estándar, Steerling utiliza un objetivo de difusión enmascarada con atención de causalidad por bloques. Esto permite la denotación paralela dentro de los bloques mientras mantiene el caché de KV de estilo autorregresivo entre bloques para una inferencia eficiente. Crucialmente, el objetivo de enmascaramiento entrena al modelo sobre una línea base de "sin información" ([MASK]), lo que permite una atribución de entrada válida.
Módulo de Conceptos: Insertado entre el backbone del transformer y la cabeza de modelado de lenguaje, este módulo descompone el estado oculto $h$ en tres componentes aditivos:
$\bar{h} = \hat{k} + \hat{u} + \epsilon$
Donde $\hat{k}$ es una suma ponderada de conceptos conocidos (de la biblioteca Atlas), $\hat{u}$ es una suma ponderada de conceptos desconocidos (aprendidos durante el entrenamiento), y $\epsilon$ es un término residual.
Funciones de Pérdida: El objetivo de entrenamiento combina:
- Pérdida de Modelado de Lenguaje: Predice tokens basados en el estado descompuesto $\bar{h}$ .
- Pérdida de Concepto: Alinea las activaciones de conceptos conocidos con las anotaciones de nivel de fragmento (chunk) de verdad fundamental.
- Pérdida de Reconstrucción: Asegura que la cabeza desconocida capture la información no explicada por los conceptos conocidos.
- P Pérdida de Independencia: Fomenta la ortogonalidad entre las representaciones conocidas y desconocidas para evitar la redundancia.

4. Dinámica de Entrenamiento

Los autores emplean programas de forcing de profesor (teacher forcing schedules) tanto para las cabezas de conceptos conocidos como para las desconocidas. Al principio del entrenamiento, se inyectan representaciones de conceptos de verdad fundamental para estabilizar el aprendizaje, realizando un recocido gradual hacia las propias predicciones del modelo. Esto evita que el modelo dependa del canal residual o aprenda correlaciones espurias antes de que las cabezas de conceptos sean fiables.

Resultados Clave

1. Leyes de Escalamiento

Los autores realizaron barridos de escalamiento IsoFLOP a través de tres órdenes de magnitud de cómputo (desde 10M hasta 8B de parámetros) tanto en backbones autorregresivos como de difusión causal.

Capacidad: Añadir el módulo de concepto introduce un pequeño offset fijo por backbone en el escalamiento óptimo de cómputo, en lugar de una penalización creciente. La pérdida irreducible ( $L_\infty$ ) de hecho disminuye para las variantes interpretables.
Interpretabilidad: Los cuatro métricas de interpretabilidad (Pérdida de Concepto, Pérdida de Independencia, Contribución y Alineación) mejoran con la escala. Contrario a la suposición de que la interpretabilidad se degrada con el tamaño, los modelos se vuelven más desentrelazados y alineados con conceptos humanos a medida que escalan.
Predicción: Los ajustes a pequeña escala predijeron con precisión la pérdida de validación del modelo Steerling-8B (dentro de 0.11 nats) y limitaron sus métricas de interpretabilidad.

2. Rendimiento de Steerling-8B

Steerling-8B fue preentrenado en 1.2 billones de tokens y sometido a un entrenamiento intermedio (mid-training) con 150 mil millones de tokens.

Competitividad: A pesar de portar restricciones de interpretabilidad, Steerling-8B logra un rendimiento dentro de aproximadamente un 10% de los modelos pares abiertos entrenados con 2–16× más cómputo.
Capacidades: El modelo soporta intervención de bucle cerrado:
- Atribución: Puede rastrear salidas hacia tokens de entrada, conceptos específicos y datos de entrenamiento similares.
- Dirección (Steering): Los usuarios pueden amplificar o suprimir conceptos específicos en el tiempo de inferencia sin reentrenar, manipulando directamente las incrustaciones de conceptos utilizadas en el paso hacia adelante (forward pass).

Significado y Reivindicaciones

El artículo desafía la premisa de que la interpretabilidad es un impuesto sobre la capacidad. Sus principales afirmaciones son:

La interpretabilidad puede diseñarse en el entrenamiento: Al satisfacer las condiciones de fidelidad y validez durante el proceso de entrenamiento, los modelos pueden proporcionar explicaciones que están estructuralmente acopladas a sus computaciones.
La interpretabilidad escala con la capacidad: En lugar de volverse más difíciles de entender a medida que crecen, los modelos interpretables inherentemente se vuelven más desentrelazados y alineados con conceptos humanos a escala.
La competitividad es alcanzable: Un modelo puede ser tanto interpretable como competitivo con pares opacos entrenados con significativamente más cómputo, lo que sugiere un nuevo paradigma de escalamiento donde la comprensión es una característica de la arquitectura, no un costo post-hoc.

Los autores concluyen que el "efecto Rashomon" (donde múltiples modelos con idéntico rendimiento tienen diferentes mecanismos internos) puede mitigarse anclando la interfaz explicativa (biblioteca de conceptos, líneas base, descomposición) a través de todos los modelos producidos por el procedimiento de entrenamiento.