💬 NLP

Inside the LLM Word Factory

Este artículo utiliza el parcheo de activaciones para revelar que los LLM realizan un proceso de desetokenización de dos etapas —donde la atención transmite señales específicas de los tokens y los MLP las componen con los embeddings locales— a través de diversas profundidades dependiendo de la codificación posicional, permitiendo un sondeo altamente preciso del éxito de la desetokenización basado en las activaciones de las capas tempranas.

Autores originales: Benzi Busigin, Yuval Pinter

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Benzi Busigin, Yuval Pinter

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una fábrica masiva y súper inteligente llamada la Fábrica de Palabras LLM. Su trabajo es tomar oraciones para entenderlas y así poder escribir nuevas. Pero hay un inconveniente: la fábrica no habla "palabras humanas" como "mesa" o "error". En su lugar, solo entiende fragmentos de subpalabras, como pequeñas piezas de un rompecabezas: _ta y ble.

Cuando escribes la palabra "table", la fábrica podría verla como una sola pieza (_table) o dividirla en dos (_ta + ble). Si se divide, la fábrica tiene un problema: necesita pegar esas piezas de nuevo en su cerebro para entender el concepto completo de una mesa antes de poder hacer algo útil. Este proceso de pegado se llama desetokenización.

Si la fábrica falla al pegar las piezas, se confunde. Podría pensar que "table" es solo "ta" y "ble" por separado, lo que lleva a errores extraños.

Este artículo es como un equipo de detectives usando un "microscopio de viaje en el tiempo" especial (llamado parcheo de activación) para asomarse dentro de la fábrica y ver exactamente cómo y dónde ocurre este pegado. Esto es lo que encontraron:

1. La línea de ensamblaje de dos pasos

Los detectives descubrieron que la fábrica no pega las piezas todas de una vez. Ocurre en una danza de dos pasos muy específica justo al principio de la línea de ensamblaje (en las primeras capas del modelo computacional):

Paso 1: El Mensajero (Atención)
Imagina que la primera pieza del rompecabezas (_ta) tiene una pequeña nota adjunta. Un mensajero especial (llamado Atención) recoge esta nota y la lleva volando hacia la segunda pieza (_ble).
- El inconveniente: La nota no es una imagen completa de la palabra. Es solo un "empujoncito" o pista diminuta y débil que dice: "Oye, soy parte de una palabra específica". Es como un trabajador postal que deja una sola carta que dice "Paquete en camino".
Paso 2: El Constructor (MLP)
Una vez que la segunda pieza (_ble) recibe esa pequeña nota, un constructor (llamado MLP) interviene. El constructor toma la pieza local (_ble) y la combina con la pequeña nota del mensajero.
- La magia: El constructor no solo las encaja; las mezcla suavemente para crear el concepto completo y unificado de "table".

2. ¿Qué tan larga debe ser la línea de ensamblaje?

El artículo encontró que esta danza de dos pasos ocurre casi de inmediato, generalmente dentro de las primeras 1 a 10 capas de la fábrica.

La fábrica "RoPE": Algunas fábricas usan un tipo específico de sistema de direcciones (llamado RoPE). En estas, el pegado ocurre súper rápido, a menudo en solo las primeras 1 o 2 capas. Es como una fábrica con una cinta transportadora súper eficiente donde las piezas se encuentran casi instantáneamente.
La fábrica "Aprendida": Otras fábricas usan un sistema de direcciones diferente (Absoluta Aprendida). Aquí, el pegado tarda más, extendiéndose a lo largo de 5 a 10 capas. Es como una cinta transportadora más lenta donde las piezas tienen que viajar un poco más antes de ser pegadas.

3. ¿Qué pasa con las palabras largas?

¿Qué pasa si una palabra se divide en tres o cuatro piezas (como _an + ti + ci + pa + tion)?
El artículo encontró que la fábrica utiliza una estrategia de carrera de relevos.

La primera pieza pasa un testigo a la segunda.
La segunda pasa el testigo a la tercera.
La tercera lo pasa a la pieza final.
Cada pieza intermedia actúa como una estación de relevo, pasando el "empujoncito" a lo largo de la línea hasta que llega al final, donde ocurre el pegado final. Cuanto más larga es la palabra, más estaciones de relevo se necesitan, pero el proceso sigue siendo el mismo.

4. ¿Podemos predecir el fallo?

El descubrimiento más emocionante es que la fábrica deja una "señal de humo" muy temprano en el proceso.

Si el pegado va a funcionar, las capas tempranas se ven de cierta manera.
Si el pegado va a fallar, se ven diferentes.

Los investigadores construyeron un detector simple (una sonda) que puede mirar solo las primeras capas de la fábrica y predecir con una precisión del 94% al 97% si la palabra se entenderá correctamente o no. Es como un inspector de control de calidad que puede saber si un coche fallará con solo mirar el motor antes de que el coche esté siquiera terminado de construir.

Resumen

En términos simples, este artículo explica que cuando los modelos de IA intentan entender palabras divididas, utilizan un proceso de dos pasos justo al principio:

La Atención pasa una pequeña pista de la primera pieza a la última.
El MLP utiliza esa pista para terminar de construir la palabra completa.

Este proceso es rápido, ocurre temprano y el modelo deja una "firma" clara en las capas iniciales que nos dice si tendrá éxito o fallará. La velocidad de este proceso depende enteramente de cómo esté construida la fábrica (específicamente, cómo maneja las posiciones), no de qué tan grande o inteligente sea la fábrica.

Resumen Técnico: Dentro de la Fábrica de Palabras de los LLM

Planteamiento del Problema

Los modelos de lenguaje Transformer dependen de la tokenización de subpalabras (por ejemplo, dividir "mesa" en _me y sa), lo que crea un desajuste sistemático entre la representación de entrada y la necesidad del modelo de operar sobre conceptos semánticos unificados. Esto requiere la des-tokenización (detokenization): el proceso interno donde el modelo reconstruye una representación coherente a nivel de palabra a partir de tokens de subpalabras fragmentados. Aunque trabajos previos establecieron que la des-tokenización ocurre en las capas iniciales y medias, e involucra tanto componentes de atención como de MLP, la mecánica exacta, las vías de transmisión de señales y los factores que determinan la profundidad de este proceso permanecían poco claros. Además, se desconocía si el éxito o el fracaso de esta reconstrucción podía predecirse a partir de las activaciones de las capas iniciales.

Metodología

Los autores emplean el parcheo de activaciones (activation patching) combinado con un diseño de conjuntos de datos emparejados controlados para aislar las contribuciones causales de los componentes del modelo.

Pares Controlados: El estudio utiliza palabras que pueden tokenizarse como un único token canónico (p. ej., _carpeta) o dividirse artificialmente en subpalabras (p. ej., _car + peta).
- Pares FST (Primer Token Compartido): Dos palabras divididas comparten el primer token pero difieren en el segundo (p. ej., _fo+lder vs. _fo+od). Esto aisla la contribución del MLP, ya que la entrada de atención del primer token es constante.
- Pares LST (Último Token Compartido): Dos palabras divididas comparten el último token pero difieren en el primero (p. ej., _po+or vs. _er+or). Esto aisla la contribución de la Atención, ya que el embedding local en la posición final es constante.
Métrica de Éxito (Canonicidad): Definida como la similitud de coseno entre el flujo residual en la última posición de la subpalabra de una entrada dividida y el flujo residual de la representación de token único canónica en la capa $n-2$ (capa 30 en Llama2-7B). Una alta canonicidad indica una reconstrucción exitosa.
Parcheo de Activaciones: Los autores parchean las activaciones de una ejecución "exitosa" (alta canonicidad) en una ejecución "fallida" (baja canonicidad) en capas y posiciones específicas. El grado en que el parche cierra la "brecha de éxito-fallo" identifica el rol causal de ese componente.
Alcance: Los experimentos primarios utilizan Llama2-7B, con pruebas de generalización entre arquitecturas realizadas en 12 modelos de 8 familias, variando en anchura, profundidad y esquemas de codificación posicional (RoPE, ALiBi, Absoluta Aprendida).

Contribuciones Clave y Resultados

1. Un Mecanismo de Dos Etapas en la Capa 1

El artículo identifica un proceso específico de dos etapas para la des-tokenización que se inicia en la Capa 1:

Etapa 1 (Atención): Un pequeño subconjunto de cabezales de atención (específicamente los cabezales 24, 27 y 28 en Llama2-7B) transmite una señal débil y específica del token desde la subpalabra precedente hacia la posición final. Esta señal es un "empujón direccional" débilmente alineado con el embedding canónico, pero no es una bandera de éxito genérica; codifica la identidad del primer token.
Etapa 2 (MLP): El MLP de la Capa 1 compone esta señal transmitida con el embedding local de la subpalabra. La operación es continua en lugar de discreta; escalar la salida del MLP escala linealmente la puntuación de canonicidad.

2. Escalamiento con el Conteo de Tokens

Para palabras divididas en más de dos tokens (hasta 6), el mecanismo se generaliza mediante relevos secuenciales:

Las posiciones intermedias relean activamente la información desde el primer token hacia el último.
Cada posición intermedia contribuye con una "ventana de relevo" de 2 a 3 capas, desplazándose más profundamente a medida que el índice del token aumenta.
La profundidad total requerida crece de forma sublineal con el conteo de tokens. La transición de 2 a 3 tokens añade ~3 capas, pero los tokens subsiguientes añaden menos de una capa cada uno, ya que las posiciones intermedias proporcionan rutas de relevo paralelas.

3. La Profundidad está Gobernada por la Codificación Posicional

Aunque el mecanismo de dos etapas (la Atención transmite, el MLP compone) es universal en 12 modelos, la profundidad sobre la cual ocurre depende estrictamente del esquema de codificación posicional:

Modelos basados en RoPE: Des-tokenizan rápidamente, alcanzando el 80% de la brecha de éxito dentro de 1 a 5 capas.
Modelos de Absoluta Aprendida: Requieren de 5 a 10 capas para lograr el mismo efecto, acumulando la señal de manera más gradual.
Modelos ALiBi: Exhiben un perfil intermedio, transicionando de concentrado a distribuido a medida que aumenta el conteo de tokens.
Los autores hipotetizan que esto se debe a que las codificaciones de posición relativa (RoPE, ALiBi) permiten que la atención de la Capa 1 atienda agudamente de la posición 2 a la 1 en un solo paso, mientras que las codificaciones absolutas aprendidas requieren múltiples capas para recuperar la posición relativa a partir de coordenadas absolas.

4. Predictibilidad en Capas Tempranas

El artículo demuestra que el resultado de la des-tokenización (éxito vs. fallo) es linealmente legible desde las activaciones de las capas iniciales:

Un probe de diferencia de media de clase ajustado en la Capa 2 alcanza un AUROC de 0.94 en secuencias aisladas y un AUROC de 0.97 en texto natural (WikiText).
Crucialmente, una dirección de probe aprendida en secuencias aisladas y sin contexto se transfiere efectivamente al texto natural (0.91 AUROC), lo que sugiere que la geometría de capa temprana de la señal de "composición" es robusta a la acumulación de contexto.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera localización mecánica de la des-tokenización, yendo más allá del sondeo correlacional hacia la intervención causal. La clave de su significancia reside en:

Claridad Mecánica: Definir la des-tokenización no como un vago fenómeno a nivel de capa, sino como un cómputo específico de dos etapas (Señal de Atención + Composición de MLP) que ocurre en las primeras capas.
Perspectiva Arquitectónica: Establecer que la codificación posicional, en lugar de la escala o el ancho del modelo, dicta la profundidad computacional de este proceso fundamental.
Utilidad Predictiva: Demostrar que el éxito de la reconstrucción de palabras puede predecirse con alta precisión utilizando solo activaciones de capas tempranas, incluso en texto natural. Esto sugiere potencial para intervenciones en tiempo de inferencia para señalar fallos inducidos por la tokenización antes de que la generación concluya, y ofrece una nueva métrica mecánica para la evaluación de tokenizadores independiente de las métricas de comportamiento descendentes.

Los autores mantienen la modestia respecto a las limitaciones, señalando que su métrica (canonicidad) depende de una referencia interna del modelo en lugar de una verdad de terreno externa, y que su metodología está restringida a palabras que pueden representarse como tokens únicos, dejando las palabras naturalmente multi-token (palabras raras, nombres propios) como una cuestión abierta.