Lost in Speech: Benchmarking, Evaluation, and Parsing of Spoken Code-Switching Beyond Standard UD Assumptions

Resumo Técnico: Lost in Speech

Definição do Problema
A alternância de código falada (spoken code-switching - CSW) apresenta um desafio fundamental para a análise sintática que é distinto dos desafios observados no texto escrito. Embora os analisadores (parsers) e os Modelos de Linguagem de Grande Escala (LLMs) tenham um bom desempenho em dados escritos, eles frequentemente falham na CSW falada devido a características intrínsecas da conversação, como disfluências, repetições, elipses, cláusulas fragmentadas e estruturas impulsionadas pelo discurso. Esses fenômenos violam rotineiramente as suposições subjacentes aos frameworks de anotação canônicos, como o Universal Dependencies (UD), especificamente no que diz respeito à completude da cláusula e à seleção canônica de cabeça (head).

Além disso, as práticas de avaliação existentes exacerbam o problema. Métricas padrão, como o Labeled Attachment Score (LAS) e o Unlabeled Attachment Score (UAS), impõem a correspondência estrita contra uma única árvore de referência (gold tree). Essa abordagem confunde erros estruturais genuínos com variações linguisticamente plausíveis aceitáveis no discurso falado. Consequentemente, os analisadores são penalizados por produzir análises que são defensáveis dentro do contexto da linguagem falada, levando a uma subestimação de seu desempenho e a uma interpretação errônea dos modos de falha. Os autores argumentam que escalar a capacidade do modelo ou os dados isoladamente é insuficiente, pois muitos desafios decorrem do descompasso entre as convenções de anotação da linguagem escrita e a natureza incremental e ambígua da fala.

Metodologia
O artigo adota uma abordagem orientada a sistemas, separando o tratamento dos fenômenos da linguagem falada da análise sintática central. A metodologia é construída sobre quatro componentes principais:

1. Taxonomia de Fenômenos de CSW Falada: Através de uma análise baseada em dados do Miami Corpus (Inglês-Espanhol), os autores desenvolveram uma taxonomia fundamentada linguisticamente com nove categorias que minam as suposições de análise canônica. Estas incluem:

   • Repetição: Palavras/frases recorrentes usadas para manutenção do turno de fala (floor-holding).
   • Elementos de Discurso: Tokens pragmáticos (ex: interjeições) distintos do material estrutural.
   • Elipse: Estruturas incompletas que não são posteriormente reparadas.
   • Contrações: Tokens que codificam múltiplas unidades sintáticas (ex: "wasn't", "del").
   • Compostos/MWEs: Expressões de múltiplas palavras funcionando como unidades únicas.
   • Quebra de Pensamento (Break of Thought): Frases abandonadas substituídas por continuações revisadas.
   • Palavras de Preenchimento (Filler Words): Tokens específicos usados para manter o turno de fala (ex: "umm").
   • Gírias/Palavrões: Itens dependentes do contexto com papéis sintáticos incertos.
   • Enclíticos: Verbos com pronomes clíticos anexados (comum no espanhol).

2. SpokeBench: Um benchmark de padrão ouro (gold-standard) projetado para avaliar a análise sob condições de linguagem falada. Diferente dos recursos existentes, o SpokeBench contém anotações UD de nível especialista, com disputas resolvidas e categorias balanceadas, para 126 sentenças do Miami Corpus. Ele visa especificamente a complexidade estrutural e fenômenos da fala, utilizando um protocolo de aceitabilidade graduada para distinguir entre erros substantivos e variação aceitável.

3. Métrica FLEX-UD: Uma nova métrica de avaliação projetada para ser consciente da ambiguidade. Ao contrário das métricas padrão que impõem uma única árvore de referência, a FLEX-UD emprega tolerâncias graduadas para comparar as saídas do sistema contra os padrões de referência. Ela distingue entre:

   • Erros Catastróficos: Violações que comprometem a validade estrutural global (ex: falta de MWEs, referências de cabeça inválidas), que incorrem em altas penalidades.
   • Erros Menores: Desvios linguisticamente plausíveis (ex: substituições de POS toleráveis, relações de dependência próximas do real), que incorrem em baixas penalidades.
     Isso permite que a FLEX-UD recompense análises linguisticamente defensáveis que as métricas padrão rejeitariam.

4. DECAP (DECoupled Agentic Parser): Um framework de análise modular que isola o tratamento da linguagem falada da análise sintática central. O DECAP utiliza uma sequência fixa de agentes especializados:

   • Manipulador de Fenômenos Falados (SPH): Identifica e localiza disfluências (repetições, preenchimentos, etc.) e propõe edições de tokenização sem atribuir relações sintáticas.
   • Resolutor Específico de Linguagem (LSR): Aplica normalização conservadora e consciente da língua (ex: expandindo contrações, validando MWEs) e fornece lemas.
   • Atribuidor de Estrutura UD Central: Constrói a análise de dependência sobre a representação normalizada, imponendo restrições como uma única raiz e preservando disfluências como elementos estruturais em vez de forçar reconstruções malformadas.
   • Verificador e Classificador (V/R): Garante a boa formação estrutural global (aciclicidade, cabeças válidas) e gera pontuações de confiança e logs de penalidade.
     O framework é baseado em instruções, aproveitando LLMs para seguir diretrizes linguísticas sem exigir ajuste fino (fine-tuning) em dados falados.

Principais Contribuições

• Taxonomia: Uma conta estruturada de fenômenos de CSW falada que complicam a análise, derivada da análise empírica do Miami Corpus.
• SpokeBench: O primeiro benchmark de ouro anotado por especialistas para análise de CSW falada que equilibra a cobertura de fenômenos da fala com complexidade estrutural.
• FLEX-UD: Uma métrica de avaliação consciente da ambiguidade que penaliza erros estruturais catastróficos mais pesadamente do que a variação aceitável, revelando melhorias qualitativas mascaradas por métricas padrão.
• DECAP: Um framework de análise agêntico e desacoplado que melhora a robustez e a interpretabilidade ao isolar o tratamento de fenômenos da fala da análise sintática central, alcançando ganhos significativos de desempenho sem retreinamento.

Resultos
Experimentos conduzidos no SpokeBench usando dados de alternância de código inglês-espanhol compararam o DECAP com analisadores bilíngues tradicionais e o pipeline BiLingua baseado em LLM.

• Métricas Padrão: Sob métricas tradicionais de LAS e UAS, todos os sistemas mostraram degradação substancial em fenômenos da fala (repetição, elipse, discurso) em comparação com sentenças canônicas. O DECAP superou os modelos de base, melhorando o LAS geral de 0,31 (BiLingua) para 0,48, mas as métricas padrão comprimiram esses ganhos.
• Avaliação FLEX-UD: A FLEX-UD revelou uma separação mais clara entre os sistemas. O DECAP alcançou a pontuação geral mais alta (76,2), superando significativamente o BiLingua (70,7) e os analisadores tradicionais (30,4). A métrica destacou que o sucesso do DECAP foi impulsionado não apenas por uma maior precisção de cabeça/rótulo, mas por uma redução substancial de erros estruturais catastróficos.
• Análise Linguística: O estudo descobriu que, embora o desempenho de UPOS-LAS correlacione-se com a disponibilidade lexical superficial (a repetição performando melhor), o desempenho de LAS é impulsionado pela ambiguidade estrutural e recuperabilidade (elipse e repetição performando pior). O bilinguismo atua como um multiplicador de complexidade, intensificando essas ambiguidades.

Significância e Alegações
O artigo alega que o progresso na análise de CSW falada requer repensar tanto as arquiteturas de análise quanto as práticas de avaliação, em vez de simplesmente escalar a capacidade do modelo. Os autores argumentam que o "hiato de modalidade" entre a linguagem escrita e a falada exige abstrações de linguagem conscientes da fala. Ao introduzir o SpokeBench, a FLEX-UD e o DECAP, o trabalho fornece uma base para avaliar e analisar a CSW falada que reconhece a incerteza estrutural como uma propriedade inerente aos dados. Os autores enfatizam que sua abordagem permite a extensibilidade para novas línguas e fenômenos sem retreinamento, oferecendo um caminho escalável para lidar com as estruturas não canônicas da fala conversacional.

Limitações
Os autores observam que o SpokeBench é intencionalmente pequeno e curado para priorizar profundidade e complexidade linguística em vez de ampla cobertura de falantes ou dialetos. Os experimentos são limitados à alternância de código inglês-espanhol, embora os fenômenos identificados sejam comuns em outros contextos bilíngues. Finalmente, o DECAP depende de LLMs baseados em instruções em vez de representações aprendidas, tornando-o dependente da qualidade dos prompts e das capacidades do modelo subjacente.