💬 NLP

Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

Este artículo demuestra que la repetición de secuencias, una alternativa menos invasiva a la eliminación de la máscara causal, permite eficazmente que los modelos de lenguaje de solo decodificador aprovechen el contexto bidireccional para tareas de etiquetado de secuencias, produciendo incrustaciones de tokens y un rendimiento superiores tanto en comparación con los modelos de solo codificador como con los decodificadores sin máscara, al tiempo que mantiene la eficiencia mediante el uso de representaciones de capas intermedias.

Autores originales: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Publicado 2026-01-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Calle de un Solo Sentido" frente a la "Calle de Doble Sentido"

Imagina que estás intentando entender una oración.

Los modelos de solo codificador (como BERT) son como una persona leyendo un libro que puede mirar tanto hacia adelante como hacia atrás. Pueden ver la palabra anterior y la palabra posterior para entender el significado de una palabra específica. Esto es ideal para tareas en las que necesitas etiquetar cada palabra (como encontrar nombres de personas o lugares).
Los modelos de solo decodificador (como los que impulsan los chatbots) son como una persona leyendo un libro a la que solo se le permite mirar hacia adelante. Solo pueden ver lo que viene después de la palabra actual. Están diseñados para predecir la siguiente palabra, no para analizar toda la oración a la vez.

Debido a esta limitación de la "calle de un solo sentido", los modelos de solo decodificador históricamente han sido peores al etiquetar cada palabra en una oración en comparación con los modelos de "calle de doble sentido".

La Solución Antigua: Romper las Reglas

Para solucionar esto, los investigadores intentaron un enfoque de "mazo": eliminaron físicamente la regla que impide al modelo mirar hacia atrás. Tomaron la "calle de un solo sentido" y la convirtieron en una "calle de doble sentido" cambiando la arquitectura interna del modelo.

La desventaja: Esto es como reconstruir el motor de un coche solo para que pueda conducir en reversa. Es complicado, invasivo y requiere mucha reingeniería.

La Nueva Solución: "Repetición de Secuencias" (La Cámara de Eco)

Los autores de este artículo descubrieron un truco mucho más sencillo y que "no requiere herramientas". En lugar de cambiar el motor del modelo, simplemente repitieron la oración antes de entregarla al modelo.

La Analogía:
Imagina que estás tratando de entender la palabra "Banco" en la oración: "Fui a la orilla del río".

Decodificador Normal: Ve "Fui a la orilla del..." y tiene que adivinar "banco" basándose solo en lo que vino antes. Podría pensar en un banco de dinero.
Repetición de Secuencia: Le entregas al modelo esto: "Fui a la orilla del río. Fui a la orilla del río. Fui a la orilla del río."

Cuando el modelo está procesando la segunda o tercera copia de la oración, ya ha "visto" la palabra "río" en la copia anterior. Aunque el modelo técnicamente todavía solo tiene permitido mirar "hacia adelante", la repetición lo engaña para que vea todo el contexto. Es como tener un eco que te permite escuchar el principio de la oración mientras estás leyendo el final.

Lo que Encontraron

1. Más Repeticiones = Mejor Comprensión
Estudios previos sugerían que repetir una oración una vez era suficiente, y que hacerlo más no ayudaba. Los autores encontraron lo contrario para las tareas a nivel de palabra.

El Hallazgo: Repetir la oración 2, 4 o incluso 8 veces de hecho hizo que el modelo fuera más inteligente al etiquetar palabras.
¿Por qué? Cada repetición le da al modelo otra "oportunidad" para procesar la información. Es como leer un párrafo difícil tres veces; a la tercera vez, entiendes mucho mejor los matices.

2. Supera a los Modelos de "Doble Sentido"
Sorprendentemente, usar este truco de repetición en modelos de solo decodificador hizo que funcionaran mejor que los modelos tradicionales de "doble sentido" (codificadores) e incluso mejor que los modelos donde se eliminó manualmente la regla de mirar hacia atrás.

El Resultado: El simple truco de repetir el texto funcionó mejor que los complejos cambios arquitectónicos.

3. El Truco de la "Salida Temprana" (Ahorrando Tiempo y Dinero)
Repetir el texto hace que la entrada sea más larga, lo que ralentiza la computadora y cuesta más dinero de ejecutar.

La Solución: Los autores descubrieron que el modelo no necesita terminar de leer todo el texto repetido para obtener una buena respuesta. Descubrieron que detener el modelo a mitad de sus capas (una "salida temprana") seguía dándoles resultados de alta calidad.
La Analogía: Es como leer un libro para entender un punto de la trama. No siempre necesitas leer la última página; a veces, leer hasta la mitad del libro es suficiente para captar la idea general, y eso te ahorra tiempo.
El Beneficio: Podían obtener el mismo alto rendimiento que el modelo completo, pero computándolo 1.4 veces más rápido (o incluso 4 veces más rápido en algunos casos) al detenerse temprano.

Resumen de la Conclusión

El artículo demuestra que no necesitas reconstruir un modelo de lenguaje de solo decodificador para que sea bueno etiquetando palabras. Solo necesitas repetir el texto de entrada.

Simple: Sin cambios en el código del cerebro del modelo.
Efectivo: Crea una "calle de doble sentido" falsa que funciona mejor que la real.
Eficiente: Al detener el modelo temprano, puedes mantenerlo rápido y económico.

Los autores concluyen que este método simple de "repetición" es una herramienta poderosa y práctica que hace que los modelos de IA modernos sean más versátiles sin necesidad de una ingeniería compleja.

Resumen Técnico: La repetición de secuencias mejora las incrustaciones de tokens y optimiza el etiquetado de secuencias con modelos de lenguaje de solo decodificador

Planteamiento del problema
Los modelos de lenguaje de gran escala (LLM) modernos de solo decodificador se entrenan de forma autorregresiva, condicionados únicamente al prefijo de una secuencia mediante una máscara causal. Esta arquitectura unidireccional contrasta con las tareas de Etiquetado de Secuencias (SL, por sus siglas en inglés) (p. ej., Reconocimiento de Entidades Nombradas, Etiquetado de Slots), que se benefician inherentemente de un contexto bidireccional para asignar etiquetas a los tokens individuales. Históricamente, el SL ha dependido de modelos de solo codificador (p. ej., BERT, RoBERTa) que admiten de forma nativa la atención bidireccional. Si bien los modelos de solo decodificador han mostrado capacidades de escalado superiores, adaptar estos a tareas de SL suele requerir cambios arquitectónicos invasivos, como eliminar la máscara causal (CM) total o selectivamente. Estas modificaciones alteran la funcionalidad base del modelo y requieren una reingeniería significativa. Además, aunque la repetición de la secuencia de entrada (SR) se ha explorado para mejorar las representaciones a nivel de secuencia, su eficacia para las incrustaciones (embeddings) a nivel de token y el rendimiento de SL sigue sin explorarse profundamente.

Metodología
Los autores proponen la Repetición de Secuencia (SR) como una alternativa no invasiva para permitir la bidireccionalidad en modelos de solo decodificador sin modificar su arquitectura central.

Mecanismo: La secuencia de entrada $s$ se repite $r$ veces para formar una nueva secuencia $s_k$ de longitud $k \cdot n$ (donde $k = r+1$ ). Debido a la máscara causal, los tokens en las repeticiones posteriores pueden atender a todos los tokens en las repeticiones anteriores. El análisis teórico de la matriz de pesos de atención muestra que, a medida que $k$ aumenta, la proporción de bloques de atención totalmente bidireccionales se aproxima a 1, permitiendo efectivamente que el modelo procese los tokens con contexto completo.
Configuración experimental: El estudio evalúa la SR en siete modelos de solo decodificador (Gemma-7B, Gemma2-2B/9B, Qwen3-1.7B/4B/8B, Mistral-7B) y cuatro conjuntos de datos de SL (CoNLL03, SemEval-2014 Rest14, NLU++, ACE05).
Líneas de base (Baselines): El rendimiento se compara contra:
1. Decodificador enmascarado: Ajuste fino estándar sin repeticiones ( $r=0$ ).
2. Desenmascarado total (Full Unmasking): Eliminación completa de la máscara causal.
3. Desenmascarado intermedio (Middle Unmasking): Eliminación de la máscara causal solo en el tercio medio ( $N/3$ ) de las capas (una estrategia de adaptación eficiente en parámetros).
4. Modelos de solo codificador: RoBERTa y ModernBERT.
Estrategia de eficiencia: Para mitigar el costo computacional del aumento de la longitud de la secuencia, los autores emplean la Salida Temprana (Early Exiting), extrayendo las incrustaciones de capas intermedias ( $L \in \{9, 14, 19, 24\}$ ) en lugar de la capa final.

Contribuciones clave

Eficacia de la SR para tareas a nivel de token: El artículo demuestra que la SR es una estrategia simple y práctica que habilita inherentemente la bidireccionalidad en modelos de solo decodificador. La SR produce incrustaciones a nivel de token que superan tanto a los modelos fuertes de solo codificador como a los decodificadores desenmascarados en múltiples evaluaciones de SL.
Beneficio de múltiples repeticiones: Contrario a los hallazgos previos en tareas a nivel de secuencia donde las repeticiones adicionales ofrecían rendimientos decrecientes o degradación, este trabajo encuentra que aumentar el número de repeticiones ( $r > 1$ ) mejora consistentemente el rendimiento de SL. Los autores hipotetizan que las repeticiones adicionales aumentan la capacidad de procesamiento efectivo del modelo para cada token.
Eficiencia mediante Salida Temprana: El estudio muestra que la extracción de incrustaciones de capas intermedias (específicamente las capas 19 y 24 en un modelo de 32 capas) combinada con la SR logra un rendimiento comparable al de las incrustaciones de la capa final, logrando una reducción significativa de la carga computacional (hasta $1.39\times$ más eficiente).

Result Resultados

Ganancias de rendimiento: Los modelos SR alcanzan consistentemente los puntajes de Micro F1 más altos. Por ejemplo, Mistral-7B con SR ( $r=4$ ) logró un puntaje promedio de 83.79%, superando al Desenmascarado Intermedio (83.35%) y al Desenmascarado Total (83.34%). La SR también superó a las líneas de base de solo codificador (RoBERTa: 78.53%, ModernBERT: 76.08%).
Conteo de repeticiones: El rendimiento generalmente mejora a medida que $r$ aumenta de 0 a 4 u 8. Mientras que los modelos más pequeños (p. ej., Gemma2-2B) mostraron saturación de rendimiento o ligeras caídas después de $r=2$ o $r=4$ , los modelos más grandes (p. ej., Mistral-7B, Qwen3-8B) continuaron beneficiándose de conteos de repetición más altos.
Estabilidad: La SR no solo mejoró el rendimiento medio, sino que también redujo la varianza (desviación estándar) de los resultados en comparación con las estrategias de desenmascarado.
Salida Temprana: Las incrustaciones de la capa $L=14$ o superior igualaron o excedieron el rendimiento de la capa final ( $L=32$ ) en varios casos, validando el uso de capas intermedias para la eficiencia sin sacrificar la calidad.
Tamaño del modelo: Incluso los modelos de solo decodificador más pequeños (p. ej., Qwen3-0.34B mediante salida temprana) entrenados con SR funcionaron a la par o mejor que el RoBERTa de 0.35B parámetros, lo que sugiere que la SR permite que los decodificadores más pequeños compitan con codificadores especializados.

Significancia y afirmaciones
El artículo afirma que la Repetición de Secuencia alivia las limitaciones estructurales de los modelos de solo decodificador, permitiéndoles desempeñarse eficazmente en tareas de token a nivel bidireccional que son inherentemente complejas sin modificar la arquitectura. Los autores posicionan la SR como una alternativa más eficiente y adaptable a la eliminación de la máscara causal, ampliando la aplicabilidad de los LM de solo decodificador a tareas anteriormente dominadas por codificadores. Los hallazgos subrayan que las capas intermedias son críticas para las tareas de downstream y que aumentar los conteos de repetición puede mejorar la capacidad de procesamiento en lugar de degradar el rendimiento, desafiando supuestos previos sobre la repetición en los LM. El trabajo sugiere que la SR ofrece una relación calidad-eficiencia favorable, particularmente cuando se combina con estrategias de salida temprana.