A Scalable Tool for Measuring Manner and Result Verbs in Developmental Language Research

Resumo Técnico: Uma Ferramenta Escalável para Medir Verbos de Maneira e de Resultado

Declaração do Problema
A distinção entre verbos de maneira (que codificam como uma ação é realizada, e.g., correr, rabiscar) e verbos de resultado (que codificam um resultado ou mudança de estado, e.g., limpar, quebrar) é teoricamente significativa na pesquisa sobre desenvolvimento da linguagem. Ela ajuda a explicar variações na aprendizagem precoce de verbos e os resultados para crianças com atrasos na linguagem. No entanto, estudar essa distinção em larga escala é atualmente dificultado pela falta de recursos anotados em grande escala. Embora a anotação gramatical (e.g., etiquetagem de classe de palavra) seja madura, a categorização semântica de verbos em contexto permanece desafiadora para modelos computacionais, limitando a capacidade de analisar a semântica verbal em grandes corpora de desenvolvimento.

Metodologia
Para abordar a escassez de dados de treinamento padrão-ouro, os autores propõem um pipeline computacional que aproveita Modelos de Linguagem Grandes (LLMs) para gerar anotações, as quais são então usadas para treinar um classificador supervisionado.

1. Estrutura Linguística: A abordagem fundamenta-se em diagnósticos linguísticos estabelecidos para verbos de maneira e de resultado, incluindo:
   • Diagnósticos Sintáticos: Omissão de objeto (verbos de maneira frequentemente aparecem sem objetos; verbos de resultado tipicamente exigem-nos) e alternância causativa/incoativa (verbos de resultado permitem isso; verbos de maneira geralmente não).
   • Diagnósticos Semânticos: Telicidade (se uma ação possui um ponto final natural) e a natureza da mudança (escalar vs. não escalar).
2. Pipeline de Anotação Baseado em LLM:
   • Fonte de Dados: Sentenças foram extraídas do Sub-Corpus Anotado Manualmente (MASC) e do corpus paralelo InterCorp, abrangendo 4.492 sentenças e 2.554 ocorrências únicas de verbos.
   • Engenharia de Prompt: Dois prompts distintos foram projetados para o GPT-4o classificar verbos não-estativos:
     • Prompt 1 focou em propriedades semânticas (mudanças escalares vs. não escalares inerentes à raiz do verbo).
     • Prompt 2 focou na estrutura da sentença (omissão de objeto e padrões de alternância).
   • Etiquetagem de Sequência: Em vez de classificação binária, a tarefa foi enquadrada como etiquetagem de sequência (similar à etiquetagem de classe de palavra). Os LLMs etiquetaram tokens em sentenças, distinguindo entre categorias de resultado, maneira, estativo e outras. Isso permitiu o isolamento de verbos não-estativos, evitando a má classificação de verbos auxiliares ou modais.
3. Treinamento do Modelo:
   • Um modelo RoBERTa-base (125M parâmetros) foi ajustado finamente nas anotações geradas por LLM.
   • A arquitetura inclui um tokenizador Byte Pair Encoding, o backbone RoBERTa para embeddings contextuais, pooling médio para seleção de características e uma cabeça de classificação com suavização de rótulos.
   • O modelo foi treinado para prever rótulos em nível de token para 15 etiquetas de classe de palavra padrão mais duas novas etiquetas semânticas: resultado e maneira.

Principais Contribuições

• Estrutura Escalável: Os autores apresentam o primeiro framework computacional para identificar verbos de maneira e de resultado em contexto de sentença, expandindo a cobertura de 151 classes do VerbNet previamente anotadas para 436 classes.
• Pipeline de Anotação: Eles introduzem um método para gerar dados de treinamento usando prompts de LLM informados linguisticamente na ausência de recursos padrão-ouro em grande escala.
• Classificador Validado: Eles demonstram que um classificador baseado em RoBERTa treinado nessas anotações geradas por LLM pode distinguir de forma confiável verbos de maneira e de resultado.
• Lançamento de Recursos: O código e o novo conjunto de dados anotado (abrangendo 436 classes do VerbNet) foram disponibilizados publicamente para apoiar pesquisas futuras.

Resultados
O modelo foi avaliado em três conjuntos de dados padrão-ouro retidos:

1. Um conjunto de dados de raiz verbal de Linguista (83 verbos de trabalhos anteriores de semântica lexical).
2. Um conjunto de dados de raiz verbal Psicolinguístico (77 verbos de Horvath et al., 2022).
3. Um conjunto de dados anotado por Especialista (criado recentemente por um linguista especialista para cobrir 346 classes do VerbNet).

• Desempenho: O modelo treinado em prompts semânticos (Modelo 1) consistentemente superou o modelo treinado em prompts sintáticos (Modelo 2).
• Acurácia: Através dos três conjuntos de dados, o modelo de melhor desempenho alcançou uma acurácia média de até 89,6%.
  • No conjunto de dados do Linguista, o Modelo 1 alcançou 94% de acurácia.
  • No conjunto de dados Psicolinguístico, o Modelo 1 alcançou 90% de acurácia.
  • No conjunto de dados anotado por Especialista, o Modelo 1 alcançou 86% de acurácia.
• Observações: Os autores notam que as propriedades semânticas da raiz do verbo parecem mais críticas para esta tarefa do que a estrutura da sentença isoladamente. Discrepâncias no conjunto de dados Psicolinguístico (e.g., menor recall para verbos de resultado) foram atribuídas a possíveis casos limítrofes ou diferenças nos critérios de anotação entre pesquisa de desenvolvimento e definições linguísticas estritas.

Significado e Alegações
Os autores posicionam este trabalho como uma ferramenta de medição escalável e não como um instrumento de diagnóstico clínico.

• Utilidade em Pesquisa: A ferramenta permite que pesquisadores meçam propriedades semânticas mais granulares de vocabulários verbais em grandes corpora de desenvolvimento (e.g., CHILDES), potencialmente esclarecendo quais aspectos da linguagem precoce estão associados a resultados posteriores como o Transtorno do Desenvolvimento da Linguagem (TDL).
• Modéstia e Limitações: O artigo reconhece explicitamente limitações, incluindo a dependência de LLMs, que podem introduzir inconsistências estatísticas, a exclusão de verbos polissêmicos e casos mistos de maneira/resultado (e.g., guilhotinar, afogar), e a falta de confiabilidade entre avaliadores devido à escassez de anotadores especialistas.
• Direções Futuras: Os autores afirmam que é necessária validação adicional para casos limítrofes e aplicações de desenvolvimento subsequentes antes que a ferramenta possa ser usada para tomada de decisão diagnóstica. Eles veem o sistema atual como um passo em direção a análises de corpus mais ricas sobre a aprendizagem precoce de verbos, apoiando a hipótese de que a composição semântica da entrada pode ser mais informativa do que medidas lexicais amplas.