Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts

Este estudo desenvolveu modelos de aprendizado de máquina interpretáveis para classificar automaticamente textos de aprendizes de estoniano nos níveis do CEFR (A2-C1), utilizando seleção cuidadosa de características linguísticas e de erros para alcançar alta precisão e insights sobre o desenvolvimento da proficiência, com implementação prática em um ambiente de aprendizado de idiomas de código aberto.

O essencial

Imagine que você tem uma máquina mágica capaz de ler um texto escrito por alguém aprendendo uma nova língua e dizer, instantaneamente: "Ei, essa pessoa está no nível intermediário!" ou "Olha só, ela já é avançada!".

É exatamente isso que o pesquisador Kais Allkivi tentou fazer com o estoniano (a língua falada na Estônia). O objetivo do estudo foi criar um "olho de águia" digital que consegue classificar textos de alunos em diferentes níveis de dificuldade, do básico (A2) ao avançado (C1), usando Inteligência Artificial.

Aqui está a explicação do "como" e do "porquê", usando analogias simples:

1. O Grande Desafio: Não é só contar palavras

Muitas pessoas acham que para saber se alguém é bom em um idioma, basta ver se o texto é longo ou se tem palavras difíceis. Mas a IA não é tão burra a ponto de apenas contar palavras.

O pesquisador tratou o texto como se fosse uma receita de bolo.

• Textos de iniciantes (A2): São como bolos simples. Poucos ingredientes, massa básica, talvez um pouco de açúcar.
• Textos avançados (C1): São como bolos gourmet. Muitos ingredientes complexos, camadas de recheio, texturas diferentes e técnicas de cozimento sofisticadas.

A IA precisava aprender a identificar quais "ingredientes" (palavras, gramática, erros) aparecem em cada nível, sem se confundir com o "sabor" do tema (se o texto é sobre um gato ou sobre política).

2. As 4 Ferramentas de Detecção (Os "Detectives")

Para analisar os textos, o estudo usou quatro tipos de "lentes" ou ferramentas de detecção:

• Lente do Vocabulário (Lexical): Olha a diversidade de palavras. Um iniciante repete muito as mesmas palavras (como um pinto que só sabe dizer "piu-piu"). Um avançado tem um vocabulário rico e variado (como um cantor de ópera com muitas notas).
• Lente da Gramática (Morphological): Analisa a estrutura das palavras. Em estoniano, as palavras mudam muito de forma dependendo de como são usadas (casos gramaticais). A IA verificava se o aluno estava usando essas formas complexas corretamente, como um carpinteiro que sabe usar todas as ferramentas da caixa, não apenas o martelo.
• Lente da Superfície (Surface): Mede o tamanho do texto, o comprimento das frases e o tamanho das palavras. É como medir o tamanho da casa: iniciantes constroem cabanas pequenas; avançados constroem mansões com muitos cômodos.
• Lente dos Erros (Error): Conta quantos erros de ortografia e gramática foram corrigidos. Quanto mais avançado o aluno, menos erros ele comete (e os erros que restam são mais sutis).

3. O Segredo: Focar no que Importa (A "Seleção de Talentos")

O estudo descobriu algo crucial: nem todo ingrediente é bom para a receita.

Se a IA usasse todas as informações possíveis, ela ficaria confusa. Por exemplo, se o tema fosse "escrever um bilhete para um amigo", o aluno usaria muitas palavras informais. Se fosse "escrever uma carta de reclamação", ele usaria palavras formais. Se a IA focasse nisso, ela poderia achar que o aluno é avançado só porque o texto é formal, mesmo que a gramática esteja ruim.

O pesquisador fez uma seleção de talentos. Ele escolheu apenas os "ingredientes" que mudam de forma consistente conforme o aluno melhora, independentemente do tema.

• Exemplo: O uso de pronomes específicos e a variedade de formas verbais são sinais claros de progresso, não importa se o aluno está falando de um gato ou de um carro.

4. O Resultado: A Máquina Funciona!

Depois de treinar a IA com milhares de textos de exames reais, os resultados foram impressionantes:

• Precisão: O modelo conseguiu classificar os textos com cerca de 90% de precisão no teste principal. É como um professor experiente que acerta a nota na maioria das vezes.
• Generalização: O teste mais difícil foi usar a IA em textos de exames de 10 anos atrás. Mesmo assim, a máquina acertou cerca de 80%. Isso mostra que ela aprendeu a essência do aprendizado, não apenas a decorar os textos atuais.
• Evolução: Ao comparar textos antigos e novos, a IA notou que os alunos estão escrevendo textos mais complexos e sofisticados ao longo do tempo.

5. Por que isso é importante? (O "Bolo" Final)

Essa pesquisa não é apenas sobre dar notas. É como ter um GPS para o aprendizado de idiomas.

• Para o Aluno: Em vez de esperar meses por um professor para saber se está evoluindo, ele pode usar uma ferramenta online (chamada ELLE) que diz: "Sua gramática está no nível B1, mas seu vocabulário ainda é de A2. Tente usar mais palavras variadas!".
• Para a Escola: Ajuda a colocar alunos na turma certa (colocação) e a dar feedback imediato.
• Transparência: Diferente de algumas IAs modernas (como o ChatGPT) que são "caixas pretas" (não sabemos como elas pensam), este modelo é explicável. Sabemos exatamente por que ele deu aquela nota: "Você usou 50 palavras diferentes e 3 formas verbais complexas".

Resumo em uma frase

O estudo criou um "detetive de idiomas" inteligente que ignora o tema do texto e foca na estrutura e complexidade da linguagem, conseguindo prever com alta precisão o nível de um aluno, ajudando a tornar o aprendizado de idiomas mais rápido, justo e transparente.

Resumo técnico

Resumo Técnico: Modelos Interpretáveis para Avaliação de Proficiência Linguística (Estoniano)

1. Problema e Objetivo

O estudo aborda a necessidade de desenvolver ferramentas de avaliação automática de escrita (Automated Writing Evaluation - AWE) que sejam não apenas precisas, mas também interpretáveis e generalizáveis para diferentes tipos de texto. Embora existam sistemas para línguas como inglês e sueco, há uma lacuna na pesquisa que combine explicitamente a análise de corpus de aprendizes com a classificação de níveis de proficiência (CEFR) para o idioma estoniano.

O objetivo principal foi classificar textos de aprendizes de estoniano nos níveis A2 a C1 do Quadro Europeu Comum de Referência para Línguas (CEFR), utilizando seleção cuidadosa de características linguísticas para criar modelos de aprendizado de máquina explicáveis. O estudo focou em identificar preditores de proficiência que reflitam a complexidade e a correção linguística, em vez de características dependentes da tarefa ou do gênero textual.

2. Metodologia

2.1. Dados

• Conjunto de Dados Principal: 720 textos de exames de proficiência em estoniano (2017–2020), divididos em 600 para treinamento e 120 para teste (Teste 1). Os textos cobrem níveis A2, B1, B2 e C1, incluindo cartas pessoais, narrativas, cartas semi-formais e textos argumentativos.
• Conjunto de Validação Externa (Teste 2): 398 textos de exames de 2010, utilizados para avaliar a generalização temporal e a robustez do modelo.
• Demografia: Aprendizes de estoniano como L2, com idade média de 32 anos, majoritariamente falantes de russo como L1.

2.2. Extração de Características (Features)
Foram extraídas quatro categorias de características linguísticas usando processamento de linguagem natural (NLP) e ferramentas de correção:

1. Léxicas (n=20): Diversidade (TTR, RTTR, MTLD, CVV), sofisticação (vocabulário raro, abstração de substantivos) e densidade.
2. Morfológicas (n=111): Distribuição de classes de palavras (PoS), frequência de casos gramaticais (14 casos no estoniano), número, grau de adjetivos, e formas verbais (tempo, pessoa, voz, negação).
3. Superficiais (n=9): Contagem de palavras, sentenças, sílabas, comprimento médio de palavras/sentenças e índices de complexidade (SMOG, LIX, Flesch-Kincaid).
4. Erros (n=9): Frequência de correções ortográficas e gramaticais propostas por corretores automáticos (spell-checker e grammar corrector).

2.3. Seleção de Características Relevantes
Um critério rigoroso foi aplicado para filtrar as características:

• Diferença significativa entre níveis adjacentes.
• Mudança monótona (unidirecional) entre os níveis.
• Correlação com o nível de proficiência.
• Baixa variação dentro do mesmo nível entre diferentes tipos de texto (gêneros).

2.4. Modelagem e Avaliação

• Algoritmos: Regressão Logística (LR), SVM, Random Forest (RF), MLP, LDA e QDA.
• Seleção de Features: Comparação entre modelos treinados apenas com características pré-selecionadas (Relevantes) vs. todos os recursos disponíveis.
• Validação: Validação cruzada de 10-fold no conjunto de treinamento, seguido de teste no conjunto de retenção (Teste 1) e no conjunto externo (Teste 2).
• Métricas: Acurácia, precisão, recall, F1-score e balanced accuracy (para compensar desequilíbrio de classes).
• Interpretabilidade: Análise de importância de características via permutation feature importance.

3. Resultados Principais

3.1. Desempenho por Categoria de Características

• Características Superficiais: Alcançaram a melhor performance individual, com acurácia de ~0,93 no Teste 1. Contagem de palavras, sílabas e o índice SMOG foram os preditores mais fortes.
• Características Morfológicas: Acurácia de ~0,90–0,95 (Teste 1). O uso de formas plurais, diminuição de pronomes pessoais, aumento de pronomes demonstrativos/relativos e diversidade de casos gramaticais foram cruciais.
• Características Léxicas: Acurácia de ~0,88–0,92. Diversidade lexical (lemmas, MTLD) e abstração de substantivos foram mais eficazes que a sofisticação vocabular baseada em frequência.
• Características de Erro: Acurácia mais baixa, em torno de 0,70. A taxa de correções gramaticais por palavra mostrou-se mais preditiva que as correções ortográficas.

3.2. Modelo Híbrido (Conjunto Misto)
A combinação de todas as categorias de características relevantes resultou no melhor desempenho:

• Teste 1: Acurácia de 0,983 (modelo LR com 24 features).
• Teste 2 (Generalização): Acurácia balanceada de ~0,80.
• Observação: O modelo misto manteve alta generalização, embora tenha havido uma queda de desempenho no Teste 2 devido a mudanças na complexidade dos textos ao longo dos anos (2010 vs. 2017-2020), especialmente no nível C1.

3.3. Análise de Interpretabilidade

• As características mais importantes para a classificação foram: contagem de sentenças/palavras/sílabas, abstração de substantivos, contagem de lemas, formas verbais finitas e formas nominais plurais.
• A seleção rigorosa de características (apenas as relevantes) reduziu a variância na classificação entre diferentes tipos de texto, melhorando a generalização em comparação com modelos que usavam todas as características disponíveis.

4. Contribuições Chave

1. Interpretabilidade e Explicabilidade: Ao contrário de modelos de "caixa preta" baseados em Deep Learning (como BERT), este estudo demonstra que modelos baseados em características linguísticas selecionadas manualmente oferecem transparência sobre o que define um nível de proficiência (ex: aumento da complexidade morfológica e redução de erros).
2. Validação de Características Específicas do Estoniano: Identificou marcadores específicos para o estoniano, como o aumento do uso de casos gramaticais (translativo, inessivo) e a mudança na distribuição de pronomes, que diferenciam os níveis CEFR.
3. Análise Diacrônica: Revelou que os textos de exames tornaram-se mais complexos ao longo de 7-10 anos, exigindo modelos robustos que não dependam apenas de padrões estáticos.
4. Implementação Prática: Os melhores parâmetros foram integrados ao ELLE (Estonian Language Learning Environment), uma ferramenta de código aberto que fornece feedback automático sobre nível de proficiência, correção de erros e sugestões de edição.

5. Significado e Implicações

• Avaliação Educacional: O estudo fornece uma base para testes de colocação automática e feedback instantâneo para aprendizes de estoniano, apoiando a digitalização de exames estatais na Estônia.
• Generalização Cross-Linguística: Os achados sugerem paralelos com outras línguas (alemão, português, tcheco), onde o aumento da complexidade sintática e a redução de pronomes pessoais são indicadores de proficiência avançada.
• Limitações e Futuro: O modelo foca apenas na competência linguística, ignorando aspectos pragmáticos e sociolinguísticos. O estudo sugere futuras pesquisas para incluir características sintáticas mais profundas e testar a generalização em gêneros não-exames.

Em suma, o trabalho demonstra que a combinação de análise de corpus e aprendizado de máquina supervisionado com seleção rigorosa de características é uma abordagem eficaz, robusta e explicável para a avaliação automática de proficiência linguística em línguas de recursos limitados.