Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

Resumen Técnico: Supervisión frente al Aprendizaje en Contexto Basado en Demostraciones para la Clasificación de Expresiones Multifuncionales

Declaración del Problema
El artículo aborda el desafío de detectar las Construcciones de Verbo Ligero (LVC, por sus siglas en inglés) en turco, una clase específica de Expresiones Multifuncionales (MWE). Las LVC en turco son difíciles para los sistemas de Procesamiento de Lenguaje Natural (NLP) porque a menudo comparten la misma forma superficial que las combinaciones de verbo-objeto totalmente literales, mientras funcionan como un único predicado parcialmente idiomático. Por ejemplo, el verbo ver- (dar) aparece tanto en transferencias literales (p. ej., "dio un bolígrafo") como en LVC idiomáticas (p. ej., "dio inspiración"). La dificultad central radica en distinguir si una secuencia verbo-nominal funciona como un predicado idiomático unitario o como una estructura de argumento literal. Los autores argumentan que la evaluación estándar del NLP a menudo no logra capturar estas distinciones lingüísticas humanas, lo que requiere un marco de evaluación controlado que aísle el contraste literal-idiomático.

Metodología
El estudio enmarca la detección de LVC en turco como una tarea de clasificación binaria: identificar si una oración contiene un predicado idiomático/LVC ([1]) o una configuración verbo-argumento literal ([0]).

• Construcción del Conjunto de Datos: Los autores crearon un conjunto de datos diagnóstico controlado y curado manualmente de 147 oraciones. Este conjunto incluye tres condiciones equilibradas (49 ítems cada una):
  1. LVC: Predicados de verbo ligero o idiomáticos.
  2. NLVC: Controles literales que utilizan los mismos verbos objetivo que los ítems LVC (para evitar heurísticas triviales basadas solo en el verbo).
  3. RANDOM: Controles negativos fuera del dominio.
     El conjunto de datos fue validado por dos anotadores en cuanto a naturalidad y corrección de etiquetas.
• Modelos Evaluados:
  • Línea Base Supervisada: Dos variantes de BERTurk (vocabularios de 32K y 128K) ajustadas con una cabeza de clasificación binaria específica para la tarea. Los datos de entrenamiento se derivaron de los corpus de dependencias universales (UD) del turco, utilizando las relaciones de dependencia compound:lvc y compound para extraer candidatos a LVC.
  • LLMs Ajustados por Instrucciones: Se evaluaron tres modelos de diferentes familias bajo distintos regímenes de prompting: Llama 3.1 (8B), GPT-OSS (20B) y Qwen 2.5 (14B).
• Regímenes Experimentales: Los LLM fueron probados bajo tres condiciones:
  1. Zero-shot (Cero disparos): Solo instrucción.
  2. One-shot (Un disparo): Instrucción más un ejemplo positivo (LVC) y un ejemplo negativo (NLVC) por plantilla de verbo.
  3. Few-shot (Pocos disparos): Instrucción más un conjunto más rico de ejemplos etiquetados (múltiples pares positivos/negativos).
     Los modelos BERTurk supervisados se evaluaron como una línea base fija.

Resultados Clave
Los experimentos revelan una sensibilidad significativa a los regímenes de prompting y a la arquitectura del modelo:

• Desempeño Zero-Shot: Los LLM exhibieron un fuerte sesgo conservador, desempeñándose bien en los controles negativos (Random y NLVC), pero fallando en la detección de LVC (recuperación cercana al 0% para Llama 3.1, muy baja para otros). En contraste, la línea base supervisada de BERTurk mantuvo un alto desempeño tanto en los negativos como en las LVC (F1 ~0.75–0.86), superando significativamente a los LLM en zero-shot en la clase positiva.
• Desempeño One-Shot: La introducción de una sola demostración alteró drásticamente los perfiles de error, pero introdujo sesgos fuertes específicos del modelo. Llama 3.1 cambió hacia la sobrepredicción de LVC (alta recuperación, baja precisión en negativos), mientras que Qwen 2.5 se mantuvo conservador (alta precisión en negativos, menor recuperación en LVC). GPT-OSS-20B mostró el desempeño más equilibrado.
• Desempeño Few-Shot: Un prompt de pocos disparos más rico mejoró la calibración para GPT-OSS-20B y Qwen 2.5, produciendo una precisión general robusta (84–86%) y reduciendo los modos de falla extremos. Sin embargo, Llama 3.1 continuó sobreprediciendo los positivos.
• Análisis Estadístico: Las pruebas de Chi-cuadrado indicaron que, si bien las diferencias entre LLM en zero-shot fueron a menudo insignificantes, los regímenes de one-shot y few-shot produjeron diferencias significativas entre modelos en cuanto a sus perfiles de error. La línea base supervisada se mantuvo competitiva y, en algunas comparaciones zero-shot, superior a los LLM mediante prompting.

Contribuciones Clave

1. Conjunto de Datos Diagnóstico Controlado: La publicación de un conjunto de datos anotado manualmente y con controles emparejados (N=147) diseñado específicamente para probar la distinción literal-idiomática en las LVC del turco, evitando el ruido de los conjuntos de prueba i.i.d. estándar.
2. Análisis Empírico de la Sensibilidad al Prompt: El estudio demuestra que el aprendizaje en contexto no mejora el desempeño de manera uniforme; más bien, desplaza los límites de decisión y la calibración. El prompting de un solo disparo puede inducir sesgos severos específicos del modelo (sobrepredicción o subpredicción), mientras que el prompting de pocos disparos ofrece una mejor calibración.
3. Supervisión frente al Aprendizaje en Contexto: El artículo proporciona evidencia de que, para lenguas con morfología rica y tareas metalingüísticas específicas (como la detección de LVC), un codificador supervisado más pequeño y específico para la tarea (BERTurk) puede seguir siendo competitivo o incluso superar a los LLM más grandes evaluados mediante prompting.

Significancia y Reivindicaciones
Los autores afirman que sus hallazgos resaltan la sustancial sensibilidad al prompt inherente a la clasificación metalingüística en turco. Argumentan que, si bien los LLM mediante prompting pueden igualar o superar las líneas base supervisadas cuando se les proporcionan demostraciones cuidadosamente construidas, no son inherentemente superiores sin dicha calibración.

El artículo postula que el éxito de la línea base supervisada proviene de la optimización directa para el espacio de etiquetas específico y la explotación de pistas morfosintácticas mediante la supervisión derivada de treebanks, mientras que los LLM deben inferir las definiciones de la tarea a partir de las instrucciones. Los autores concluyen que la detección de LVC debe tratarse como una capacidad sensible al prompt y que la evaluación controlada por condiciones es esencial para revelar fallos sistemáticos en los límites de decisión que las métricas de precisión agregadas podrían ocultar. Expresan explícitamente que sus resultados son sugestivos respecto al valor de la supervisión específica de la tarea en lenguas con morfología rica, pero no afirman que BERT sea generalmente más capaz que los LLM; más bien, la comparación refleja la diferencia entre el etiquetado de secuencias supervisado en el dominio y el prompting de propósito general.