TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech

Resumo Técnico de "TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech"

Problema
A anotação de erros morfossintáticos de forma detalhada é um componente crítico da linguística clínica e da psicolinguística do desenvolvimento, fornecendo evidências para o desenvolvimento da linguagem, comprometimentos e variações em populações como crianças com transtornos de linguagem do desenvolvimento, síndrome de Down e transtorno do espectro autista. No entanto, esta tarefa é atualmente laboriosa, dependente de conhecimento especializado e difícil de escalar. Diferente da marcação morfossintática padrão, a anotação de erros requer a identificação de divergências estruturadas entre as produções errôneas e os alvos pretendidos, necessitando frequentemente da reconstrução da morfologia ausente na string de superfície. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para a avaliação holística de enunciados, a área carece de ferramentas automatizadas capazes de gerar anotações de erro inline no estilo CHAT, particularmente em cenários de baixos recursos, onde dados clínicos anotados são escassos e de acesso restrito.

Metodologia
Os autores apresentam o TalkTag, uma ferramenta leve baseada em LLM, projetada para automatizar a anotação de erros no estilo CHAT em transcrições de fala. O sistema foi construído sob condições de extrema escassez de dados, utilizando dados narrativos infantis do corpus Edmonton Narrative Norms Instrument (ENNI).

• Arquitetura do Modelo: O sistema utiliza um modelo Meta-Llama-3.1-8B-Instruct ajustado por instrução, carregado em forma quantizada de 4 bits para eficiência. Ele foi ajustado via LoRA (Low-Rank Adaptation) com rank 32 e $\alpha=64$, mantendo os pesos base congelados.
• Estratégia de Treinamento: Para lidar com a escassez de dados reais anotados (4.585 enunciados, sendo a maioria livre de erros), os autores empregaram aumento de dados sintéticos. Exemplos sintéticos curados cobrindo configurações de diretrizes CHAT foram gerados e revisados manualmente para garantir um suporte mínimo de aproximadamente 100 instâncias por rótulo. Os dados de treinamento também incluíram enunciados limpos para ensinar o modelo quando deixar o texto inalterado.
• Anotação como Geração Estruturada: Em vez de tratar as tags de erro do CHAT como um inventário plano de strings opacas, os autores tratam o esquema de anotação como uma linguagem simbólica estruturada. O tokenizador foi estendido com componentes reutilizáveis (marcadores entre colchetes, indicadores de domínio, fragmentos de subtipo) para encorajar o modelo a compor tags licenciadas a partir de partes significativas, em vez de recuperá-las de um conjunto fechado.
• Design de Avaliação: O sistema foi avaliado através de uma abordagem de três níveis:
  1. Pontuação Automática: Correspondência exata (exact match), precisão micro, recall e F1 em dados de teste retidos.
  2. Adjudicação Cega Post-hoc: Revisores humanos avaliaram casos de discordância sem saber a origem (modelo vs. referência ouro) para distinguir falhas genuínas do modelo de ambiguidades na anotação de referência.
  3. Revisão Humana em Dados Não Vistos: Uma auditoria manual da saída do modelo em uma grande parte do corpus ENNI não utilizado para treinamento ou validação.

Principais Contribuições

1. Ferramenta TalkTag: Uma ferramenta escalável, baseada em Python, para anotação de erros morfossintáticos detalhados que adere às diretrizes CHAT, visando especificamente a codificação de erros ao nível da palavra (ex: [* m:0ed] para tempo passado ausente, [* s:r:gc:pro] para erros de categoria de pronome).
2. Viabilidade de Baixos Recursos: Uma demonstração de que a análise linguística detalhada é viável em cenários de baixos recursos ao combinar aumento de dados sintéticos com ajuste de parâmetros eficientes de um LLM leve.
3. Framework de Geração Estruturada: Uma formulação inovadora da codificação de erro CHAT como uma tarefa de geração estruturada restrita, onde o modelo aprende a compor tags a partir de blocos de construção linguísticos em vez de memorizar rótulos fixos.

Resultos

• Desempenho Automático: No principal split de teste, o TalkTag alcançou 93,6% de correspondência exata e 80,4% de micro-F1. Ao ser restrito ao subconjunto de enunciados contendo pelo menos um rótulo de erro (87 enunciados), o micro-F1 foi de 82,7% (Precisão: 91,4%, Recall: 75,5%).
• Adjudicação Post-hoc: Após revisão humana cega dos casos de discordância, a taxa de saída aceitável para enunciados com erro aumentou para 82,8%, indicando que muitos erros aparentes eram devidos à ambiguidade linguística ou subespecificação na anotação de referência, em vez de falha do modelo.
• Avaliação Humana em Dados Não Vistos: Em 3.145 enunciados revisados de dados ENNI não vistos, 93,4% das saídas ao nível de enunciado foram julgadas aceitáveis. Ao nível de rótulo, 83,7% dos casos revisados que continham rótulos estavam corretos. As previsões mais frequentes e precisas envolveram erros de concordância, formas de passado sobre-regularizadas e substituições de pronomes.
• Padrões de Erro: O modelo demonstrou alta precisão, mas recall menor, particularmente para erros que exigem um contexto de discurso mais amplo. Um modo de falha notável envolveu formas verbais não infletidas após sujeitos de terceira pessoa do singular, onde o modelo frequentemente preferia análises baseadas em concordância em vez de interpretações de tempo passado ausente, especialmente com verbos de mudança zero (ex: hurt, put).

Significância e Alegações
O artigo afirma que o TalkTag fornece um sistema de suporte praticamente viável para a anotação de erros morfossintáticos, oferecendo uma alternativa escalável à anotação totalmente manual. Os autores posicionam explicitamente a ferramenta não como um substituto para o julgamento especialista, mas como um auxílio de pré-anotação que evidencia candidatos a erro plausíveis para revisão humana. Esta abordagem visa reduzir a intensidade de trabalho e o custo da anotação, mantendo alta qualidade.

A significância do trabalho reside em sua capacidade de lidar com as complexidades específicas dos dados de linguagem clínica e do desenvolvimento — como disfluências, enunciados incompletos e a necessidade de reconstrução de alvo — dentro de um framework de baixos recursos. Os resultados sugerem que, embora o sistema ainda não cubra toda a gama de fenômenos de erro do CHAT, ele aborda com sucesso os tipos de erro mais clinicamente relevantes e frequentes (concordância, tempo, pronomes), apoiando assim a pesquisa em transtornos de linguagem do desenvolvimento e aquisição de linguagem típica. Os autores enfatizam que o protótipo atual é um primeiro passo para a anotação detalhada, sendo necessário trabalho futuro para expandir a cobertura para outros corpora e populações clínicas.