💬 NLP

Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement

Este artículo presenta un modelo DeBERTa-v3-large ligero y lingüísticamente mejorado que reformula la identificación de expresiones multiword como una clasificación binaria a nivel de token, logrando un rendimiento de vanguardia en los conjuntos de datos CoAM y STREUSLE mientras utiliza 165 veces menos parámetros que los modelos de lenguaje grandes líderes.

Autores originales: Diego Rossini, Lonneke van der Plas

Publicado 2026-01-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Diego Rossini, Lonneke van der Plas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar frases específicas en un libro, como "tirar la toalla" o "buscar la información". A veces estas frases están juntas, pero otras veces, otras palabras se interponen en medio, como "la información buscar". Encontrar estas "Expresiones Multi-palabra" (MWE, por sus siglas en inglés) es como jugar al juego de "¿Dónde está Waldo?".

Durante mucho tiempo, las computadoras tuvieron dificultades con esto. O bien perdían las frases divididas, o bien se confundían con los millones de parámetros en modelos gigantes y cerebrales (como Qwen-72B) que intentaban memorizarlo todo pero aun así no daban en el clavo.

Aquí es cómo los autores de este artículo resolvieron el problema utilizando un enfoque "ligero":

1. Cambiando las reglas del juego: De "adivinar el todo" a "detectar los bordes"

Tradicionalmente, las computadoras intentaban adivinar la frase completa de una sola vez, como intentar adivinar una oración entera antes de haber leído siquiera la primera palabra. Esto es difícil y lento.

Los autores cambiaron las reglas. En lugar de adivinar la frase completa, le enseñaron a su modelo a responder tres simples preguntas de "Sí/No" para cada una de las palabras en una oración:

¿Es este el INICIO de una frase?
¿Es este el FINAL de una frase?
¿Está esta palabra DENTRO de una frase?

Piensa en ello como construir una cerca. En lugar de intentar dibujar toda la cerca de un solo golpe, simplemente colocas un poste de "Inicio", un poste de "Final" y rellenas con los postes de "Dentro". Esto hace que el trabajo sea mucho más rápido y fácil de aprender para la computadora.

2. Dándole a la computadora un "Mapa Gramatical"

Incluso con las nuevas reglas del juego, la computadora todavía necesitaba ayuda para detectar las frases complicadas y divididas. Los autores le dieron al modelo una "hoja de trucos" basada en la gramática humana:

Fragmentación de Frases Nominales (Noun Phrase Chunking): Le dijeron al modelo: "Oye, si estas palabras se agrupan como un sustantivo (como 'mercado de valores'), presta especial atención".
Rutas de Dependencia (Dependency Paths): Le dieron al modelo un mapa de cómo se conectan las palabras entre sí. Si dos palabras están lejos una de otra en la oración pero están conectadas gramaticalmente (como "buscar" y "arriba" en "la información buscar"), el modelo sabe que debe tratarlas como un equipo, incluso si hay otras palabras en medio.

3. Equilibrando la clase de entrenamiento

Los datos que utilizaron estaban desequilibrados. Era como tener un salón de clases con 100 estudiantes que son muy buenos en matemáticas, pero solo 5 que son buenos en arte. La computadora seguía ignorando a los estudiantes de "arte" (las frases raras y complicadas).

Para solucionar esto, los autores utilizaron el sobremuestreo (oversampling). Tomaron los ejemplos raros y se los mostraron a la computadora con más frecuencia, como darles a esos 5 estudiantes de arte tiempo de práctica extra para que la computadora también aprenda a reconocerlos.

Los Resultados: Pequeños pero Poderosos

Los autores probaron su nuevo método (usando un modelo llamado DeBERTa-v3-large) contra el gigante "Qwen-72B".

El Gigante: Qwen-72B es enorme (miles de millones de parámetros) y obtuvo una puntuación de 57.8%.
El Ligero: Su nuevo modelo es 165 veces más pequeño pero obtuvo una puntuación de 69.8%.

Es como un detective ágil y bien entrenado resolviendo un caso más rápido y con mayor precisión que un robot gigante y lento que intenta memorizar toda la biblioteca.

Por qué esto importa

El artículo demuestra que no necesitas una supercomputadora masiva y voraz de energía para entender estructuras de lenguaje complejas. Al usar trucos ingeniosos (como el juego de "Inicio/Final/Dentro") y darle al modelo un poco de ayuda con las reglas gramaticales, un modelo más pequeño y eficiente puede, de hecho, superar a los gigantes.

También probaron esto en un conjunto de datos diferente (STREUSLE) y obtuvieron resultados excelentes similares, demostrando que su método no es solo un golpe de suerte en una prueba específica, sino una forma sólida de encontrar estas frases ocultas en el texto en inglés.

En resumen: Encontraron una forma más inteligente, rápida y pequeña de enseñar a las computadoras a detectar frases complejas, incluso cuando esas frases están divididas por otras palabras.

Resumen Técnico: Clasificación Binaria a Nivel de Token con DeBERTa para la Identificación de MWE de Todo Tipo

Planteamiento del Problema

Las expresiones multi-palabra (MWE, por sus siglas en inglés) representan un desafío significativo para los sistemas de Procesamiento de Lenguaje Natural (NLP) debido a su flexibilidad sintáctica y no composicionalidad semántica. Una dificultad primordial radica en la detección de MWE discontinuas, donde los componentes están separados por material intermedio (por ejemplo, "look...up" en "look the information up"). Los enfoques tradicionales suelen formular la identificación de MWE como una tarea de etiquetado de secuencias multi-clase (por ejemplo, conjuntos de etiquetas BIO o BILOU), que asigna una única etiqueta a cada token. Sin embargo, los métodos actuales de vanguardia frecuentemente dependen de modelos de lenguaje masivos (LLMs) con miles de millones de parámetros y carecen de una integración sistemática del conocimiento lingüístico. Además, aunque la clasificación binaria ha tenido éxito en el Reconocimiento de Entidades Nombradas (NER) basado en spans, su aplicación a la identificación de MWE de todo tipo permanece inexplorada.

Metodología

Los autores proponen un enfoque ligero y exhaustivo que reformula la identificación de MWE como una tarea de clasificación binaria a nivel de token, integrando características lingüísticas y aumento de datos.

1. Marco de Clasificación Binaria a Nivel de Token

En lugar de asignar una etiqueta única de un conjunto de etiquetas multi-clase, el modelo realiza tres predicciones binarias independientes para cada token $x_i$ :

START (INICIO): ¿Es este token el comienzo de una MWE?
END (FIN): ¿Es este token el final de una MWE?
INSIDE (INTERIOR): ¿Está este token estrictamente entre el inicio y el final de una MWE?

Este enfoque desplaza la complejidad de la enumeración cuadrática de spans ( $O(n^2)$ ) al procesamiento lineal de tokens ( $O(n)$ ). Durante la inferencia, los spans candidatos se reconstruyen emparejando tokens donde $p_{start} \geq \tau_{start}$ y $p_{end} \geq \tau_{end}$ , siempre que los tokens intermedios cumplan con $p_{inside} \geq \tau_{inside}$ . Se aplican restricciones para asegurar que los spans reconstruidos coincidan con las distribuciones del conjunto de datos (por ejemplo, 2–6 miembros, máximo 13 tokens).

2. Integración de Características Lingüísticas

El modelo DeBERTa-v3-large se potencia con dos formas de conocimiento sintáctico para ayudar en la detección de patrones nominales y discontinuos:

Características de Fragmentación de SN (NP Chunk Features): Los tokens se etiquetan como dentro o fuera de un Sintagma Nominal (SN) utilizando spaCy. Estas etiquetas binarias se mapean a embeddings aprendibles y se concatenan con los estados contextualizados de los tokens para mejorar la recuperación de MWE nominales (por ejemplo, "stock market").
Características de Dependencia: Se computan las longitudes de las rutas de dependencia más cortas entre pares de tokens (con un tope de 5). Estas sirven para dos propósitos:
1. Codificación: Las distancias de dependencia promediadas se mapean a embeddings de 32 dimensiones.
2. Restricciones Duras: Durante la reconstrucción, se rechazan los candidatos cuyos miembros consecutivos tengan una distancia de dependencia $>4$ para filtrar combinaciones discontinuas implausibles.

3. Aumento de Datos

Para abordar el severo desequilibrio de clases en los datos de entrenamiento, se evaluaron dos estrategias:

Sobremuestreo (Oversampling): Replicar las oraciones de entrenamiento que contienen MWE.
Sustitución Lexical: Reemplazar tokens que no son MWE con palabras semánticamente similares.
La estrategia óptima depende del tamaño del conjunto de datos: el sobremuestreo resultó superior para el conjunto de datos más pequeño, CoAM, mientras que la sustitución lexical fue más efectiva para el conjunto de datos más grande, STREUSLE.

4. Conjuntos de Datos

CoAM: Un conjunto de datos curado de 1,301 oraciones en inglés que cubre todos los tipos de MWE (NOUN, VERB, MOD/CONN, CLAUSE, OTHER), incluyendo un 11.3% de patrones discontinuos.
STREUSLE: Un conjunto de datos más grande utilizado para pruebas de generalización, con categorías mapeadas a los tipos compatibles con CoAM.

Contribuciones Clave

Reformulación de la Tarea: La primera aplicación de la clasificación binaria a nivel de token (START/END/INSIDE) para la identificación de MWE de todo tipo, demostrando su eficacia sobre el etiquetado de secuencias tradicional.
Eficiencia vs. Rendimiento: Un modelo DeBERTa-v3-large (aprox. 400M de parámetros) logra resultados de vanguardia, superando a Qwen-72B (72B de parámetros) por 12 puntos de F1 mientras utiliza 165× menos parámetros.
Mejora Lingüística: Demostró que la integración de la fragmentación de SN y las características de dependencia aumenta significativamente el rendimiento, particularmente para las MWE discontinuas y nominales.
Generalización: Validó el enfoque en el conjunto de datos STREUSLE, logrando un 78.9% de F1, confirmando que el método captura estructuras fundamentales de MWE en lugar de artefactos específicos del conjunto de datos.

Resultados Experimentales

Los autores realizaron un estudio de ablación sistemático con 15 configuraciones de modelos:

Rendimiento en CoAM:
- El mejor modelo (DLT+lo: DeBERTa-large + características lingüísticas + sobremuestreo) alcanzó un 69.8% de F1.
- Esto supera al anterior mejor (Qwen-72B) por 12 puntos (57.8% F1).
- MWE Discontinuas: El enfoque duplicó el rendimiento base para patrones discontinuos, logrando un 29.7% de F1 comparado con el 17.1% de Qwen-72B.
- Recuperación por Tipo: Se observaron mejoras significativas en todos los tipos, notablemente en CLAUSE (85.7% de recuperación vs. 28.6% para Qwen) y MOD/CONN (84.7% de recuperación).
Rendimiento en STREUSLE:
- El mejor modelo (DBT+la: DeBERTa-base + características lingüísticas + sustitución lexical) alcanzó un 78.9% de F1.
- El enfoque de clasificación binaria a nivel de token proporcionó una mejora masiva sobre el baseline basado en spans (19.8% F1), ganando 53.5 puntos.
Perspectivas de Ablación:
- La clasificación binaria a nivel de token por sí sola proporcionó un aumento de +5.2 en F1 sobre la predicción basada en spans.
- La atención desentrelazada (DeBERTa) demostró ser superior a las arquitecturas BERT estándar para la detección de MWE.
- Las estrategias de aumento fueron dependientes del conjunto de datos: el sobremuestreo funcionó mejor para conjuntos de datos pequeños y de alta calidad (CoAM), mientras que la sustitución lexical funcionó mejor para conjuntos de datos más grandes (STREUSLE).

Significancia y Reivindicaciones

El artículo afirma que modelos diseñados cuidadosamente más pequeños pueden superar sustancialmente a los LLM en tareas de NLP estructuradas. Al reformular el problema como una clasificación binaria a nivel de token e integrar conocimiento lingüístico explícito, los autores demuestran que los despliegues con recursos limitados pueden lograr un alto rendimiento sin el costo computacional de los modelos masivos.

Los autores enfatizan que su método maneja con éxito la naturaleza de "todo tipo" de las MWE, una tarea donde los marcos anteriores solían centrarse solo en las MWE verbales o en la idiomaticidad binaria. Reconocen las limitaciones, incluyendo la dependencia de herramientas de NLP ascendentes (spaCy) para las características lingüísticas, la dificultad de las dependencias discontinuas de largo alcance y la incapacidad de calcular la precisión específica por tipo debido a la formulación binaria (que predice límites pero no tipos). Sin embargo, los resultados sugieren que este enfoque captura aspectos fundamentales de la estructura de las MWE, ofreciendo una alternativa práctica y eficiente a las soluciones actuales basadas en LLM de vanguardia.