Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

Resumo Técnico: Supervisão versus Aprendizado em Contexto Baseado em Demonstração para Classificação de Expressões Multi-palavra

Definição do Problema
O artigo aborda o desafio da detecção de Construções de Verbo Leve (LVCs) em turco, uma classe específica de Expressões Multi-palavra (MWEs). As LVCs em turco são difíceis para sistemas de Processamento de Linguagem Natural (PLN) porque frequentemente compartilham a mesma forma de superfície que combinações verbo-objeto totalmente literais, enquanto funcionam como um único predicado parcialmente idiomático. Por exemplo, o verbo ver- (dar) aparece tanto em transferências literais (ex: "deu uma caneta") quanto em LVCs idiomáticas (ex: "deu inspiração"). A dificuldade central reside em distinguir se uma sequência verbo-nominal funciona como um predicado idiomático unitário ou como uma estrutura de argumento literal. Os autores argumentam que a avaliação padrão de PLN frequentemente falha em capturar essas distinções linguísticas humanas, necessitando de um framework de avaliação controlado que isole o contraste literal–idiomático.

Metodologia
O estudo enquadra a detecção de LVC em turco como uma tarefa de classificação binária: identificar se uma sentença contém um predicado idiomático/LVC ([1]) ou uma configuração verbo–argumento literal ([0]).

• Construção do Dataset: Os autores criaram um dataset diagnóstico controlado e curado manualmente de 147 sentenças. Este conjunto inclui três condições balanceadas (49 itens cada):
  1. LVC: Predicados de verbo leve/idiomáticos.
  2. NLVC: Controles literais utilizando os mesmos verbos alvo dos itens LVC (para evitar heurísticas triviais baseadas apenas no verbo).
  3. RANDOM: Controles negativos fora do domínio.
     O dataset foi validado por dois anotadores quanto à naturalidade e correção das etiquetas.
• Modelos Avaliados:
  • Baseline Supervisionado: Duas variantes do BERTurk (vocabulários de 32K e 128K) ajustadas (fine-tuned) com uma cabeça de classificação binária específica para a tarefa. Os dados de treinamento foram derivados de treebanks de Dependências Universais (UD) do turco, utilizando relações de dependência compound:lvc e compound para extrair candidatos a LVCs.
  • LLMs Ajustados por Instrução: Três modelos de diferentes famílias foram avaliados sob regimes de prompting variados: Llama 3.1 (8B), GPT-OSS (20B) e Qwen 2.5 (14B).
• Regimes Experimentais: Os LLMs foram testados sob três condições:
  1. Zero-shot: Apenas instrução.
  2. One-shot: Instrução mais um exemplo positivo (LVC) e um negativo (NLVC) por template de verbo.
  3. Few-shot: Instrução mais um conjunto mais rico de exemplos rotulados (múltiplos pares positivos/negativos).
     Os modelos BERTurk supervisionados foram avaliados como um baseline fixo.

Resultados Principais
Os experimentos revelam uma sensibilidade significativa aos regimes de prompting e à arquitetura do modelo:

• Desempenho Zero-Shot: Os LLMs exibiram um forte viés conservador, performando bem em controles negativos (Random e NLVC), mas falhando em detectar LVCs (recall próximo a 0% para Llama 3.1, muito baixo para outros). Em contraste, o baseline supervisionado BERTurk manteve alto desempenho tanto em negativos quanto em LVCs (F1 ~0.75–0.86), superando significativamente os LLMs zero-shot na classe positiva.
• Desempenho One-Shot: A introdução de uma única demonstração alterou drasticamente os perfis de erro, mas introduziu fortes vieses específicos do modelo. O Llama 3.1 mudou para uma super-predição de LVCs (alto recall, baixa precisão em negativos), enquanto o Qwen 2.5 permaneceu conservador (alta precisão em negativos, baixo recall em LVCs). O GPT-OSS-20B apresentou o desempenho mais equilibrado.
• Desempenho Few-Shot: Um prompt few-shot mais rico melhorou a calibração para o GPT-OSS-20B e o Qwen 2.5, gerando uma acurácia geral robusta (84–86%) e reduzindo modos de falha extremos. No entanto, o Llama 3.1 continuou a super-predizer positivos.
• Análise Estatística: Testes de Qui-quadrado indicaram que, embora as diferenças zero-shot entre os LLMs fossem frequentemente insignificantes, os regimes one-shot e few-shot produziram diferenças significativas nos perfis de erro entre os modelos. O baseline supervisionado permaneceu competitivo com, e em algumas comparações zero-shot superior aos, LLMs com prompting.

Principais Contribuições

1. Dataset Diagnóstico Controlado: O lançamento de um dataset anotado manualmente e com controles pareados (N=147), especificamente desenhado para testar a distinção literal–idiomática em LVCs de turco, evitando o ruído de datasets i.i.d. padrão.
2. Análise Empírica da Sensibilidade ao Prompt: O estudo demonstra que o aprendizado em contexto não melhora o desempenho uniformemente; em vez disso, ele desloca as fronteiras de decisão e a calibração. O prompting one-shot pode induzir vieses severos e específicos do modelo (super ou sub-predição), enquanto o prompting few-shot oferece melhor calibração.
3. Supervisão vs. Aprendizado em Contexto: O artigo fornece evidências de que, para línguas morfologicamente ricas e tarefas metalinguísticas específicas (como detecção de LVC), um codificador supervisionado menor e específico para a tarefa (BERTurk) pode permanecer competitivo ou até superior a grandes LLMs ajustados via prompting.

Significância e Alegações
Os autores alegam que seus achados destacam a substancial sensibilidade ao prompt inerente à classificação metalinguística em turco. Eles argumentam que, embora os LLMs com prompting possam igualar ou exceder os baselines supervisionados quando fornecidos com demonstrações cuidadosamente construídas, eles não são inerentemente superiores sem tal calibração.

O artigo postula que o sucesso do baseline supervisionado advém da otimização direta para o espaço de etiquetas específico e da exploração de pistas morfossintáticas via supervisão derivada de treebanks, enquanto os LLMs devem inferir as definições da tarefa a partir de instruções. Os autores concluem que a detecção de LVC deve ser tratada como uma capacidade sensível ao prompt e que a avaliação controlada por condições é essencial para revelar falhas sistemáticas nas fronteiras de decisão que métricas de acurácia agregadas podem mascarar. Eles declaram explicitamente que seus resultados são sugestivos quanto ao valor da supervisão específica de tarefa em línguas morfologicamente ricas, mas não alegam que o BERT é genericamente mais capaz que os LLMs; em vez disso, a comparação reflete a diferença entre rotulagem de sequência supervisionada in-domain e prompting de propósito geral.