A parallel treebank of learner Swedish

Problema
O artigo aborda a falta de recursos padronizados e comparáveis translinguisticamente para analisar a Aquisição de Segunda Língua (SLA) em sueco. Embora o Universal Dependencies (UD) tenha estabelecido com sucesso um framework para a anotação morfossintática em centenas de línguas, sua aplicação à linguagem de aprendizes permanece limitada. Os corpora de aprendizes existentes dependem frequentemente de esquemas de marcação de erros que são específicos de cada língua, laboriosos e focados exclusivamente em erros, o que pode obscurecer as características mais amplas da interlíngua. Além disso, as idiossincrasias do sueco de aprendizes — como ortografia não padrão, compostos divididos, alternância de código (code-switching) e calques sintáticos — impõem desafios específicos que as diretrizes padrão do UD não cobrem totalmente. Há uma necessidade de um treebank paralelo que contraste sentenças de aprendizes com correções normalizadas, anotadas sob um framework consistente para facilitar estudos de SLA translingüísticos e o desenvolvimento de sistemas de PLN orientados ao aprendiz.

Metodologia
Os autores introduzem o UD Swedish-SweLL, um treebank paralelo derivado do corpus SweLL-gold, que contém 502 ensaios escritos por adultos aprendizes de sueco. O recurso compreende atualmente 510 pares de sentença-correção. A metodologia envolve:

1. Framework de Anotação: O treebank segue o padrão Universal Dependencies (UD). Para abordar fenômenos específicos de aprendizes, os autores desenvolveram diretrizes internas que estendem as regras oficiais do UD. As principais adaptações incluem:

   • Anotação Literal: Os lemas preservam erros de ortografia e de flexão (ex: radicais grafados incorretamente) em vez de corrigi-los para a forma alvo, enquanto as relações de dependência refletem o papel sintático pretendido com base na hipótese de correção.
   • Segmentação: Compostos divididos são tratados como erros ortográficos ligados via relação compound, enquanto palavras subsegmentadas são analisadas como unidades únicas com base em seu regente sintático.
   • Fenômenos de Transferência: Calques sintáticos e alternância de código são anotados seguindo as diretrizes da língua de origem, com marcadores específicos (ex: CalquedLang) usados quando as formas superficiais são em sueco, mas a estrutura é transferida.
   • Consistência Paralela: As sentenças originais dos aprendizes e suas correções normalizadas são anotadas para garantir consistência semântica, permitindo a recuperação de tipos específicos de erro através de consultas de árvore.

2. Processo de Anotação: O fluxo de trabalho envolve a pré-anotação automática usando o modelo swedish-talbanken-ud-2.15 do UDPipe 2, seguida de uma rigorosa validação manual.

   • Validação Humana: Cada par de sentenças foi validado independentemente por pelo menos dois anotadores (pesquisadores e estudantes com formação em sueco L2).
   • Resolução de Conflitos: Desacordos foram resolvidos por meio de reuniões onde as sentenças de aprendizes foram analisadas em paralelo com suas correções.
   • Pós-processamento: Os dados passaram por limpeza para remover duplicatas, remover metadados para privacidade e adicionar características inferidas (ex: Typo=Yes).

3. Avaliação: Os autores avaliaram a qualidade da anotação usando métricas de Acordo entre Anotadores (IAA), especificamente o $\alpha$ de Krippendorff (usando distância de edição de árvore para dependências) e pontuações de acurácia bruta. Eles também realizaram uma análise estatística usando regressão linear para determinar como fatores como comprimento da sentença, densidade de erro e tipo de anotador (humano vs. parser) afetam o desempenho.

Principais Contribuições

• UD Swedish-SweLL: O primeiro treebank de dependência de aprendiz de sueco, lançado como parte do UD 2.17. Ele fornece 510 pares de sentenças paralelas anotadas com padrão ouro (gold-annotated).
• Diretrizes Adaptadas: Um conjunto de diretrizes internas para anotar o sueco L2 que equilibra a representação literal de erros com a análise de dependência interpretativa. Essas diretrizes abordam desafios específicos como composição não padrão, erros de concordância e fenômenos de transferência.
• Avaliação Empírica: Uma análise detalhada da qualidade da anotação, demonstrando alto acordo entre anotadores humanos e quantificando o impacto de fatores específicos de aprendizes tanto no desempenho humano quanto no desempenho de anotação automática.
• Disponibilidade de Recursos: O treebank está disponível para download e consulta através de ferramentas como Grew-match e Korp, facilitando o uso imediato em pesquisa e desenvolvimento de sistemas.

Resultos

• Qualidade da Anotação: O estudo relata um alto Acordo entre Anotadores (IAA). Para anotação de dependência, os escores de $\alpha$ de Krippendorff variaram de 0.970 a 0.993, e para tags UPOS, de 0.983 a 0.993. Esses escores excedem os reportados para outros treebanks de L2.
• Desempenho do Parser vs. Humano: Anotadores humanos superaram consistentemente o parser automático, particularmente nas sentenças originais de aprendizes. No entanto, o parser mostrou um desempenho forte, especialmente na marcação de UPOS.
• Impacto de Fatores:
  • Densidade de Erro: Este foi o preditor mais forte da dificuldade de anotação. Impactou significativamente o desempenho do parser (diminuindo o LAS em 21 pontos percentuais por unidade de aumento na densidade de erro normalizada) mais do que o desempenho humano.
  • Comprimento da Sentença: Sentenças mais longas diminuíram ligeiramente o desempenho do parser para análise de dependência, mas tiveram um efeito negligenciável ou levemente positivo na marcação de UPOS. Para humanos, o comprimento da sentença teve um impacto menor.
  • Tipo de Corpus: Tanto humanos quanto parsers performaram melhor em sentenças corrigidas (alvo) do que em sentenças originais de aprendizes, embora a diferença tenha sido relativamente pequena.

Significância
O artigo afirma que o UD Swedish-SweLL fornece um recurso valioso para ir além da detecção de erros tradicional em direção a uma análise descritiva refinada da interlíngua. Ao adotar o padrão UD, o treebank permite:

• Comparabilidade Translinguística: Facilitando comparações entre L1 e L2, diferentes L2s, e a interlíngua contra normas padrão.
• Desenvolvimento de PLN: Servindo como dados de treinamento para sistemas orientados ao aprendiz, como Correção Gramatical Automática (GEC) e detecção automática de erros.
• Harmonização de Diretrizes: Oferecendo uma aplicação prática dos princípios de harmonização propostos para treebanks de aprendizes, demonstrando que o UD pode lidar efetivamente com as idiossincrasias sistemáticas da linguagem de aprendizes sem exigir uma camada de anotação separada e centrada em erros.

Os autores concluem que o alto IAA sugere que as diretrizes são robustas o suficiente para potencialmente reduzir a necessidade de dupla anotação manual em expansões futuras, enquanto o forte desempenho de modelos pré-treinados na marcação de UPOS sugere um caminho para fluxos de trabalho semiautomáticos para treebanking em larga escala.