💬 NLP

DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models

El artículo propone DIRECT, un marco que mejora el rendimiento y la eficiencia de los modelos de lenguaje extensos para el etiquetado de secuencias al combinar la Optimización de Preferencia Directa para un mejor alineamiento con un mecanismo de decodificación de llenado de plantillas controlado que minimiza la computación redundante.

Autores originales: Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

Publicado 2026-07-30

📖 4 min de lectura☕ Lectura para el café

CC0 1.0

Autores originales: Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot superinteligente que ha leído casi todos los libros de internet. Puede escribir poemas, resolver problemas matemáticos y charlar como un humano. Esto es lo que los científicos llaman un "Modelo de Lenguaje Grande" (LLM, por sus siglas en inglés). Pero aquí está el truco: aunque este robot es un genio en la conversación general, puede ser un desastre cuando le pides que realice trabajos muy específicos y basados en reglas estrictas. Uno de estos trabajos es el "etiquetado de secuencias". Piensa en esto como un juego de "atrapadas" donde tienes que recorrer una oración y pegar una etiqueta específica en cada palabra. ¿Es "Apple" una empresa? ¿Es "Tim" una persona? ¿Es "Marzo" una fecha? El robot necesita que cada una de las etiquetas sea correcta, en el orden exacto, sin palabras extra ni etiquetas faltantes.

El problema es que estos robots están acostumbrados a ser creativos y fluidos. Cuando les pides que sigan reglas estrictas, a veces se confunden, olvidan el formato o simplemente inventan cosas. Además, como son tan habladores, tardan mucho tiempo en procesar cada una de las palabras, lo que los hace lentos y costosos de ejecutar. Los científicos han estado tratando de enseñar a estos robots a seguir mejor las reglas y a ser más rápidos en su trabajo, pero ha sido como intentar enseñarle a un golden retriever a realizar una cirugía de precisión.

Aquí es donde entra un nuevo método llamado DIRECT. Los investigadores detrás de este artículo querían solucionar dos grandes dolores de cabeza: el hecho de que el robot no sigue las instrucciones lo suficientemente bien y que el robot es demasiado lento. No solo intentaron enseñarle al robot de forma más intensa; cambiaron cómo el robot aprende y cómo piensa.

Primero, le dieron al robot un tipo especial de entrenamiento llamado Optimización de Preferencia Directa (DPO). Imagina que le estás enseñando a un perro a traer la pelota. En lugar de solo decirle "Ve a buscar la pelota", le muestras dos formas diferentes en las que podría traerla: una en la que trae la pelota perfectamente y otra en la que la suelta a mitad de camino. Luego le dices al perro: "Me gusta mucho más la primera". Al mostrarle al robot miles de estos ejemplos de "bueno vs. malo", este aprende a entender exactamente qué prefieren los humanos, haciendo que sea mucho más probable que haga el trabajo bien a la primera.

Segundo, y esta es la parte realmente ingeniosa, cambiaron la forma en que el robot escribe su respuesta durante la prueba real. Normalmente, un robot tiene que volver a escribir toda la oración palabra por palabra, incluyendo las palabras que ya conoce. Es como pedirle a un estudiante que vuelva a escribir toda la historia de "Cenicienta" solo para cambiar el color del vestido al final. DIRECT evita este desperdicio. En lugar de reescribir toda la historia, se le da al robot una plantilla de "completar los espacios en blanco". Solo tiene que escribir las etiquetas específicas (las etiquetas) y saltarse el resto. La computadora recuerda el resto de la historia instantáneamente, ahorrando una enorme cantidad de tiempo y energía.

Los resultados de este nuevo enfoque son bastante impresionantes. Los investigadores probaron DIRECT en ocho conjuntos de datos diferentes, que son como diferentes conjuntos de problemas de práctica que involucran cosas como encontrar nombres de personas, lugares y organizaciones. Descubrieron que DIRECT no solo era más preciso que otros métodos de vanguardia, sino también significativamente más rápido. De hecho, en algunas pruebas, fue hasta 9 veces más rápido que los mejores métodos existentes.

Cuando analizaron de cerca por qué funcionaba tan bien, descubrieron que ambas partes de su plan eran esenciales. Si eliminaban el entrenamiento especial (DPO), el robot cometía más errores. Si eliminaban el truco de velocidad de "completar los espacios en blanco", el robot obtenía las respuestas correctas pero tardaba una eternidad en hacerlo. Al combinar el entrenamiento de seguimiento de reglas estrictas con una forma inteligente de saltarse el trabajo innecesario, DIRECT logró lo mejor de ambos mundos: un robot que es tanto un perfeccionista como un velocista.

El artículo muestra que, con el entrenamiento adecuado y un poco de trucos de ingeniería, podemos hacer que estas poderosas herramientas de IA sean mucho más útiles para tareas que requieren precisión. No se trata solo de hacer al robot más inteligente; se trata de enseñarle cómo concentrarse y cómo trabajar de manera eficiente, convirtiendo a un genio hablador en un trabajador confiable y rápido.

Resumen Técnico: DIRECT para un Etiquetado de Secuencias Eficiente y Alineado con LLMs

1. Planteamiento del Problema

El etiquetado de secuencias, una tarea de extracción de información de grano fino que abarca el Reconocimiento de Entidades Nombradas (NER), la segmentación de palabras y el Etiquetado de Partes de la Oración (POS), es crítico para aplicaciones de PLN descendentes. Aunque los Modelos de Lenguaje Grandes (LLMs) han mostrado potencial en escenarios de bajos recursos mediante el ajuste fino (fine-tuning), los enfoques actuales enfrentan dos desafíos primarios:

Alineación de Dominio Insuficiente: Los métodos actuales dependen del formateo basado en instrucciones durante el Ajuste Fino Supervisado (SFT). Sin embargo, esto no garantiza que los resultados del modelo se adhieran estrictamente a las estructuras de etiquetado de secuencias esperadas, lo que provoca violaciones de formato y desalineaciones con las preferencias humanas.
Baja Eficiencia de Inferencia: La mayoría de los enfoques mantienen el proceso de decodificación autorregresivo estándar durante la inferencia. Esto requiere que el modelo genere cada token de la secuencia de salida, incluyendo elementos estructurales (p. ej., paréntesis, separadores) y el contexto conocido, lo que resulta en una computación redundante y velocidades de inferencia lentas.

2. Metodología: DIRECT

Los autores proponen DIRECT (DPO-based Inference RECTification), un marco diseñado para abordar la alineación y la eficiencia a través de un mecanismo dual de optimización en el tiempo de entrenamiento y rectificación en el tiempo de inferencia.

2.1. Optimización del Modelo Orientada a la Precisión (Fase de Entrenamiento)

Para mejorar la alineación específica del dominio, DIRECT emplea la Optimización de Preferencia Directa (DPO) tras el SFT estándar.

Construcción de Datos: El modelo entrenado con SFT genera respuestas candidatas para las secuencias de entrada. Se construyen pares de preferencia $(X, O^+, O^-)$ donde $O^+$ es la verdad fundamental (ground truth) y $O^-$ es una muestra "menos preferida".
Estrategia de Selección: Para maximizar la ganancia de entropía, las muestras menos preferidas se seleccionan basándose en un criterio específico: puntuaciones BLEU altas (que indican fluidez) pero puntuaciones F1 bajas (que indican una pobre precisión en la extracción de entidades). Esto obliga al modelo a aprender la distinción entre salidas fluidas pero incorrectas y salidas precisas y estructuradas.
Optimización: El objetivo de DPO maximiza la diferencia de log-probabilidad entre las salidas preferidas y las menos preferidas bajo el modelo entrenable en relación con un modelo de referencia fijo, alineando efectivamente el comportamiento del modelo con las preferencias humanas para las tareas de etiquetado de secuencias.

2.2. Rectificación de Inferencia (Fase de Inferencia)

Durante la inferencia, DIRECT introduce un proceso de decodificación controlado que impone una adherencia estricta al formato y maximiza la eficiencia computacional.

Mecanismo de Llenado de Plantillas (Template-Filling): En lugar de generar toda la secuencia de salida de forma autorregresiva, el modelo se restringe a generar únicamente los tokens de etiquetas. Los componentes estructurales (p. ej., palabras, paréntesis, separadores) se completan previamente mediante una plantilla.
Reutilización del Caché KV: El marco aprovecha el Caché de Clave-Valor (KV Cache) para evitar computaciones de atención redundantes.
1. Prellenado (Prefilling): Antes de predecir una etiqueta para una palabra $x_i$ , el sistema procesa la secuencia precedente conocida (contexto $C_{t-2}$ ) en una sola pasada para computar y almacenar su Caché KV.
2. Generación Incremental: El modelo solo computa los nuevos valores clave para los tokens específicos requeridos para la etiqueta (p. ej., el paréntesis de apertura y los caracteres de la etiqueta).
3. Restricción de Candidatos: El espacio de decodificación se restringe a un conjunto predefinido de tokens de etiqueta, asegurando la validez sintáctica.
Resultado: Este enfoque consolida múltiples operaciones de atención en una única pasada de prellenado para los prefijos conocidos, reduciendo significativamente el número de pasos de generación.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

Optimización de Alineación Adaptativa al Dominio: Al integrar DPO con una estrategia refinada de selección de pares de preferencia e introducir intervenciones controladas durante la inferencia, el método permite que los LLMs comprendan mejor las tareas de etiquetado de secuencias y se alineen más estrechamente con las preferencias humanas.
Mejora Significativa en la Eficiencia de Inferencia: El mecanismo de llenado de plantillas, que requiere que el modelo genere solo los tokens de etiqueta mientras reutiliza el Caché KV para el resto de la secuencia, produce una inferencia hasta 9 veces más rápida en comparación con los métodos de vanguardia.
Rendimiento de Vanguardia (State-of-the-Art): Experimentos extensos en tareas de NER y POS bajo entornos de bajos recursos demuestran que DIRECT logra un rendimiento superior comparado con las líneas base existentes.

4. Resultados Experimentales

Los autores evaluaron DIRECT en ocho conjuntos de datos (cuatro de NER/POS en chino y cuatro en inglés) bajo configuraciones de bajos recursos ( $K=250, 500, 1000$ muestras).

Rendimiento: Utilizando GLM4-9B-Chat como columna vertebral, DIRECT alcanzó consistentemente las mejores puntuaciones F1 en virtualmente todos los conjuntos de datos. Al usar LLaMA-3.1-8B-Instruct, generalmente obtuvo los segundos mejores resultados.
- Se observaron mejoras notables en el conjunto de datos MIT-Movie, donde las puntuaciones F1 aumentaron entre un 13.69% y un 15.69% respecto a las líneas base, dependiendo del tamaño de la muestra.
- Las mejoras promedio de F1 oscilaron entre 0.37% y 14.72% en varios conjuntos de datos.
Estudios de Ablación: Eliminar DPO ("w/o DPO") o la rectificación de inferencia ("solo w/ SFT") resultó en una degradación consistente del rendimiento. Específicamente, en los conjuntos de datos Taobao y MIT-Movie, eliminar el pipeline completo de DIRECT causó caídas de F1 de hasta un 20.21%, confirmando la necesidad de ambos componentes de entrenamiento e inferencia.
Eficiencia: El análisis del tiempo de inferencia en el conjunto de datos CTB6 mostró que DIRECT requirió solo 32.86 segundos para procesar 10 oraciones, comparado con 309.44 segundos para GNER y 1,468.00 segundos para InstructUIE. Esto representa una aceleración aproximada de 10x sobre las líneas base fuertes.
Estudios de Caso: El análisis cualitativo reveló que las líneas base a menudo sufrían de omisiones de salida, salidas redundantes o violaciones de formato (p. ej., fallar al etiquetar palabras específicas o ignorar reglas estructurales). DIRECT demostró una robustez superior al adherirse estrictamente al formato de salida y clasificar con precisión todas las entidades.

5. Significado

El artículo afirma que DIRECT ofrece una solución práctica para el despliegue de LLMs en tareas de etiquetado de secuencias, particularmente en entornos de bajos recursos. Al combinar DPO para alinear el comportamiento del modelo con los requisitos específicos de la tarea y un mecanismo de llenado de plantillas para eliminar la generación redundante, el método logra un doble avance: mejora significativamente la precisión y la alineación, al tiempo que reduce drásticamente los costos computacionales. Los autores posicionan a DIRECT como un marco altamente eficiente y robusto que supera los enfoques generativos y discriminativos existentes tanto en rendimiento como en capacidad de despliegue.