Resumo Técnico: CAIT – Um Kit de Ferramentas para Análise Sintática de Interações Criança–Adulto

Declaração do Problema

O corpus CHILDES é um recurso primordial para a pesquisa sobre aquisição de linguagem, contudo, as ferramentas computacionais para analisar sua estrutura sintática permanecem limitadas. A Fala Infantil (CS) e a Fala Dirigida à Criança (CDS) diferem significativamente da linguagem escrita padrão, caracterizando-se por construções não canônicas, disfluências, autorreparos, enunciados fragmentários e alta repetição lexical. Os analisadores de dependência existentes, treinados principalmente em texto escrito dirigido a adultos (por exemplo, notícias, livros), têm dificuldade em lidar com essas idiossincrasias específicas do domínio. Consequentemente, os pesquisadores frequentemente recorrem à inspeção manual ou a analisadores de propósito geral (como Stanza ou SpaCy) que produzem anotações não confiáveis, exigindo correção pós-hoc custosa. Embora esforços anteriores tenham tentado aplicar as Dependências Universais (UD) ao CHILDES, conjuntos de dados anteriores careciam de consistência total com as diretrizes da UD v2, não possuíam validação independente ou sofriam de ruído de anotação.

Metodologia

Os autores aproveitam o treebank UD-English-CHILDES recém-lançado (Yang et al., 2025), o primeiro treebank de UD v2 oficialmente validado para interações criança–adulto em inglês. Este recurso consolida esforços anteriores de anotação, aplicando aproximadamente 8.000 correções para garantir conformidade com as diretrizes atuais da UD. O conjunto de dados compreende cerca de 48.000 frases manualmente corrigidas ("ouro") e 1 milhão de frases anotadas automaticamente ("prata").

O estudo envolve as seguintes etapas metodológicas:

1. Treinamento e Avaliação de Analisadores: Os autores treinaram e avaliaram vários analisadores de dependência de última geração (Stanza, SuPar, DiaParser, Machamp) nos dados do UD-English-CHILDES. Eles exploraram diversas arquiteturas (BiLSTM, baseadas em Transformer) e representações de entrada (embeddings estáticos, embeddings contextualizados do RoBERTa).
2. Estratégias de Aumento de Dados: Os experimentos incluíram treinamento apenas com dados ouro, ajuste fino em dados ouro após pré-treinamento em dados prata e aumento dos conjuntos de treinamento ouro com dados prata.
3. Desenvolvimento de Ferramentas: Com base no analisador de melhor desempenho, os autores desenvolveram o CAIT (Child–Adult InTeractions Toolkit), um conjunto de ferramentas de código aberto compreendendo:
   • Um analisador de dependência específico do domínio (baseado no SuPar com RoBERTa-large).
   • Um etiquetador dedicado de Classes Gramaticais (POS) (baseado no Stanza), abordando a limitação de que o SuPar não prevê etiquetas POS.
   • Um etiquetador de construções em nível de enunciado que utiliza as anotações do analisador para categorizar enunciados em tipos de construção (por exemplo, fórmulas, fragmentos, perguntas, imperativos, estruturas sujeito-predicado).
4. Análise Comparativa: O kit de ferramentas foi avaliado em comparação com analisadores de inglês prontos para uso (modelo combinado Stanza, spaCy) e submetido a uma análise detalhada de erros para identificar vieses sistemáticos e inconsistências de anotação.
5. Estudo de Caso: O etiquetador de construções foi aplicado para rastrear a distribuição de construções sintáticas ao longo do tempo de desenvolvimento no corpus MPI-EVA-Manchester, comparando CS e CDS.

Principais Contribuições

1. Kit de Ferramentas CAIT: O lançamento de um kit de ferramentas de análise sintática de código aberto especificamente adaptado para interações criança–adulto, apresentando um analisador de dependência de última geração, um etiquetador POS e um etiquetador de construções.
2. Ganhos de Desempenho: Demonstração de que o treinamento no domínio supera significativamente os analisadores de propósito geral. O melhor modelo (SuPar com RoBERTa-large, ajustado finamente em dados ouro) alcançou uma Pontuação de Aderência Rotulada (LAS) de 92,51 e uma Pontuação de Aderência Não Rotulada (UAS) de 94,91 no conjunto de teste, superando substancialmente a linha de base Stanza pronta para uso (LAS 85,19) e o spaCy (LAS 61,45).
3. Análise de Erros e Correção de Anotação: Uma análise aprofundada revelando que modelos específicos do domínio mitigam erros sistemáticos encontrados em analisadores gerais, particularmente no que diz respeito a conj (enumerações planas), vocative (nomes sem pontuação), parataxis (adições soltas) e reparandum (fragmentos disfluentes). Por outro lado, a análise identificou inconsistências de anotação nos dados padrão ouro (por exemplo, rotulagem incorreta de pronomes possessivos como det e substantivos premodificadores como nmod), que o analisador CAIT identificou corretamente como desvios das diretrizes padrão da UD.
4. Utilidade do Etiquetador de Construções: O desenvolvimento de um etiquetador de construções que alcança 92,32% de precisão em um conjunto de teste retido, superando etiquetadores baseados em regras que usam apenas etiquetas POS (85,74%) e classificadores de embeddings de sentença (70,17%). Isso permite a análise automatizada das distribuições de construções tanto em CS quanto em CDS, uma tarefa anteriormente prejudicada pela não confiabilidade da análise sintática da fala infantil.

Resultados

• Precisão da Análise Sintática: O analisador CAIT superou consistentemente as linhas de base em todos os comprimentos de frase e papéis de falante (CS vs. CDS). A lacuna de desempenho foi mais pronunciada na Fala Infantil, onde o analisador CAIT alcançou um LAS de 91,30, comparado a 83,33 para a linha de base Stanza pronta para uso.
• Redução de Erros: O analisador CAIT reduziu significativamente as taxas de erro para rótulos de dependência específicos comuns em interação falada, como parataxis (reduzindo a taxa de erro em aproximadamente 13 pontos percentuais) e reparandum.
• Análise de Construções: O estudo de caso replicou achados anteriores sobre CDS (frequência decrescente de perguntas, frequência crescente de enunciados SV(X)), ao mesmo tempo que estendeu a análise para CS. Os resultados indicaram que, embora os imperativos sejam frequentes na CS inicial, a proporção de enunciados complexos e perguntas aumenta com a idade, sinalizando uma mudança no comportamento comunicativo.
• Limitações: Os autores observam que o kit de ferramentas assume entrada pré-tokenizada e que os dados padrão ouro, embora melhorados, ainda contêm erros herdados de esforços anteriores de anotação. Além disso, certas distinções (por exemplo, perguntas que diferem apenas na prosódia) permanecem difíceis de resolver apenas a partir do texto.

Significado

O artigo afirma que o CAIT fornece uma infraestrutura crítica para pesquisas em larga escala e reprodutíveis sobre aquisição de linguagem. Ao oferecer um analisador que captura com precisão os padrões sintáticos de registros informais e não canônicos, o kit de ferramentas permite:

• Modelagem Computacional: Manipulação sintática estrita de dados do CHILDES para testar hipóteses de aquisição sob condições de entrada naturalista.
• Estudos Empíricos: Análise sintática em larga escala do desenvolvimento da linguagem sem o custo proibitivo da anotação manual.
• Investigação Estrutural: A capacidade de investigar propriedades estruturais (por exemplo, comprimento de dependência, profundidade da árvore) à luz de argumentos de plausibilidade cognitiva.

Os autores posicionam o CAIT não como uma solução final, mas como um passo fundamental, observando que trabalhos futuros poderiam estender esses recursos multilinguamente e integrá-los a outras camadas de anotação de construções (por exemplo, UCxn) para iluminar ainda mais os padrões distribucionais dos quais a competência linguística emerge.