Resumo Técnico: Modelagem da Influência da L1 na Dificuldade de Vocabulário em Inglês

Declaração do Problema

A aquisição de vocabulário em segunda língua (L2) é um desafio fundamental, contudo a dificuldade de aprender palavras específicas varia significativamente dependendo da língua materna (L1) do aprendiz. Embora propriedades léxicas intrínsecas (por exemplo, frequência, concretude) afetem todos os aprendizes, fatores específicos da L1, como sobreposição ortográfica e status de cognato, criam curvas de aprendizagem divergentes. Modelos computacionais existentes para dificuldade léxica frequentemente falham em considerar os antecedentes individuais dos aprendizes ou limitam-se a pares de línguas únicos. Este artigo aborda a lacuna na modelagem da dificuldade de vocabulário em inglês para aprendizes com backgrounds tipológicos distintos: espanhol, alemão e chinês.

Metodologia

Dados

O estudo utiliza as Listas de Vocabulário Baseadas em Conhecimento (KVL), um corpus crowdsourced contendo respostas de testes de dificuldade léxica de mais de 100.000 aprendizes de inglês. O conjunto de dados abrange três grupos de L1 (espanhol, alemão, chinês) com aproximadamente 6.091 itens de treinamento, 677 itens de desenvolvimento e 748 itens de teste por língua.

• Formato da Tarefa: Os aprendizes traduzem uma palavra da L1 para o inglês, dada a primeira letra e o número de caracteres (por exemplo, alemão Kabel $\to$ c _ _ _ _).
• Variável Alvo: A dificuldade do item é estimada via um modelo de Rasch, produzindo uma pontuação logarítmica contínua onde valores mais altos indicam palavras mais fáceis.

Engenharia de Características

Os autores extraem 24 características por item, organizadas em quatro grupos distintos para capturar diferentes mecanismos cognitivos:

1. Familiaridade (11 características): Captura efeitos de exposição, incluindo frequência de palavra transformada por log, diversidade contextual, idade de aquisição (AoA), porcentagem de anotadores que conheciam a palavra e níveis de proficiência CEFR (distribuições tanto do corpus CEFR-J quanto do EFLLex).
2. Significado (5 características): Aproxima a complexidade semântica usando a norma $\ell_2$ de embeddings fastText, profundidade média de hiperônimo, contagem de sentidos (do WordNet), razão de dominância de classe gramatical (POS) e uma flag binária para requisitos de desambiguação.
3. Superfície (7 características): Descreve a forma ortográfica, incluindo comprimento da palavra alvo/fonte, contagem de sílabas, razão letras-fonema (transparência ortográfica), comprimento da frase de contexto e as letras iniciais da pista em inglês e da tradução na L1.
4. Transferência (1 característica): Calcula a similaridade de cosseno entre vetores TF-IDF de n-gramas de caracteres da palavra em inglês e sua tradução na L1. Isso serve como um proxy para cognação ortográfica. Notavelmente, esta característica resulta em similaridade zero para o chinês devido às diferenças de escrita.

Arquitetura do Modelo

• Modelo Primário: CatBoost (árvores de decisão com gradiente) é treinado separadamente para cada L1. Esta escolha permite modelar interações não lineares e importância de características, mantendo a interpretabilidade.
• Baselines:
  • Regressão Ridge: Um modelo linear treinado nas mesmas 24 características para testar a necessidade de interações não lineares.
  • Baseado em Transformer: Um modelo de linguagem pré-treinado ajustado (Skidmore et al., 2025) treinado diretamente em pontuações de dificuldade sem características manuais.
• Avaliação: Os modelos são avaliados usando Erro Quadrático Médio (RMSE) e correlação de Pearson em conjuntos de teste retidos. A generalização entre L1 é testada avaliando modelos treinados em uma L1 contra os conjuntos de teste das outras.
• Interpretabilidade: Valores SHAP (Shapley Additive exPlanations) são usados para atribuir previsões a características individuais. A importância das características é agregada por grupo para determinar a contribuição relativa dos mecanismos de familiaridade, significado, superfície e transferência.

Principais Resultados

Precisão de Previsão

Os modelos CatBoost alcançaram o menor RMSE e a maior correlação de Pearson em todos os três grupos de L1, comparados tanto às baselines lineares quanto às baseadas em transformer.

• Espanhol: RMSE CatBoost = 1,24 (vs. 1,26 Transformer, 1,30 Linear).
• Alemão: RMSE CatBoost = 1,12 (vs. 1,26 Transformer, 1,20 Linear).
• Chinês: RMSE CatBoost = 1,04 (vs. 1,14 Transformer, 1,07 Linear).
  Os resultados indicam que interações não lineares de características e características psicolinguísticas bem escolhidas superam tanto combinações lineares quanto representações brutas de transformer para esta tarefa específica.

Importância das Características e Diferenças de L1

A análise SHAP revelou perfis de dificuldade distintos baseados na L1 do aprendiz:

1. Familiaridade: Este foi o grupo de características dominante em todas as três línguas. No entanto, os drivers específicos diferiram:
   • Espanhol/Alemão: Impulsionado principalmente por Idade de Aquisição (AoA) e Frequência.
   • Chinês: Impulsionado principalmente por Níveis de Proficiência (espaço CEFR-J e EFLLex), sugerindo um padrão de aquisição mais orientado por currículo.
2. Transferência (Sobreposição Ortográfica): Esta característica atuou como um diferenciador crítico.
   • Para Espanhol e Alemão, a transferência foi o preditor mais forte no geral (média $|SHAP| \approx 0,51-0,52$), particularmente para palavras menos familiares. Fornecia uma "segunda rota" para a facilidade via cognatos.
   • Para o Chinês, esta característica contribuiu com zero importância devido à falta de escrita compartilhada.
3. Superfície vs. Significado: Características de superfície (comprimento, letras iniciais) foram significativamente mais importantes para aprendizes chineses do que para aprendizes espanhóis ou alemães. Por outro lado, características de significado contribuíram minimamente em todos os grupos, provavelmente porque a tarefa KVL testa recordação de forma (ortografia) e não compreensão semântica.

Generalização entre L1

• Espanhol $\leftrightarrow$ Alemão: Modelos treinados em uma língua generalizaram razoavelmente bem para a outra (por exemplo, modelo treinado em espanhol no conjunto de teste alemão: RMSE 1,18 vs. 1,12 dentro do alemão). Isso sugere estratégias cognitivas compartilhadas para línguas tipologicamente relacionadas.
• Chinês: A transferência envolvendo chinês foi marcadamente pior. Um modelo treinado em chinês falhou em generalizar para espanhol/alemão (RMSE > 1,5), e modelos treinados em espanhol/alemão performaram pior no chinês do que o modelo nativo chinês, embora ainda superassem as baselines. Isso confirma que os mecanismos de dificuldade para aprendizes chineses são qualitativamente distintos.

Significado e Contribuições

O artigo reivindica várias contribuições para o campo da linguística computacional e tecnologia educacional:

1. Modelagem Adaptada à L1: Demonstra que a dificuldade de vocabulário não é uma métrica universal, mas é moldada por interações específicas L1-L2. Ao treinar modelos separados, os autores capturam essas nuances, superando modelos agnósticos.
2. Interpretabilidade: O uso de valores SHAP permite uma decomposição de por que uma palavra é difícil. O estudo identifica duas rotas distintas para a facilidade para aprendizes de espanhol/alemão (familiaridade OU transferência ortográfica) versus uma dependência unificada de familiaridade e pistas de superfície para aprendizes chineses.
3. Implicações para o Design Curricular: As descobertas sugerem que currículos para aprendizes de espanhol e alemão poderiam aproveitar cognatos para acelerar a aquisição de vocabulário, enquanto currículos para aprendizes chineses deveriam priorizar frequência e níveis de proficiência estruturados.
4. Escalabilidade: Os autores fornecem uma demonstração interativa e um vocabulário estendido (4.000–7.000 palavras adicionais por língua) derivado do Wiktionary, demonstrando que esses modelos podem gerar estimativas de dificuldade além do conjunto de dados KVL original.

Os autores mantêm uma postura modesta, observando que sua análise de importância de características descreve estruturas de previsão do modelo e não processos cognitivos diretos. Eles reconhecem limitações relacionadas ao formato específico da tarefa (recordação de ortografia) e à cobertura limitada de línguas, sugerindo que trabalhos futuros poderiam explorar similaridade fonológica e calques para capturar variância adicional.