Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English

Resumo Técnico: Transferência Cross-Lingual em Modelos Bilíngues

1. Problema e Motivação

O estudo investiga se os Modelos de Linguagem (LMs) bilíngues replicam os padrões de ativação cross-lingual observados em leitores humanos bilíngues. Especificamente, o foco recai sobre palavras com formas superficiais sobrepostas em duas línguas (Dutch e Inglês):

• Cognatos (Friends): Palavras com forma e significado semelhantes (ex: winter em NL/EN). Em humanos, isso gera facilitação (leitura mais rápida).
• Falsos Amigos (False Friends/Homógrafos Interlinguais): Palavras com a mesma forma, mas significados diferentes (ex: brand em NL significa "fogo", em EN "marca"). Em humanos, isso geralmente causa interferência (leitura mais lenta) ou nenhum efeito.

A questão central é: Os modelos de linguagem bilíngues capturam essas nuances de processamento cognitivo, ou eles tratam a sobreposição lexical de forma puramente estatística?

2. Metodologia

2.1. Manipulação de Vocabulário (Condições Experimentais)
Os autores treinaram Transformers causais (configuração GPT-2-small) sob quatro condições distintas de compartilhamento de vocabulário para controlar como as formas de palavras sobrepostas são codificadas nos embeddings:

1. Full Overlap (A): Todas as formas de palavras idênticas em NL e EN compartilham um único embedding (sem distinção de língua).
2. Friends Overlap (B): Apenas cognatos e empréstimos compartilham embeddings; falsos amigos e outras palavras têm embeddings específicos por língua.
3. False Friends Overlap (C): Apenas falsos amigos compartilham embeddings; cognatos têm embeddings específicos.
4. Minimal Overlap (D): Apenas pontuação e entidades nomeadas são compartilhadas; todas as outras palavras têm embeddings estritamente específicos por língua.

2.2. Dados e Treinamento

• Corpus: Mistura de textos não ficcionais, legendas e dados da web.
• Configuração Bilíngue: Simulação de um falante tardio com L1 (Holandês) e L2 (Inglês). O corpus é desbalanceado: 75% dos tokens em Holandês e 25% em Inglês.
• Ordem de Treinamento: Em cada época, amostras em Holandês são apresentadas primeiro, seguidas por Inglês.

2.3. Avaliação e Estímulos
Os modelos foram avaliados usando estímulos de estudos psicolinguísticos existentes (Bultena et al., 2014; Huisman, 2025):

• Métrica Principal: Surprisal (sorpresa), usada como correlato computacional do esforço de processamento (menor surprisal = processamento mais fácil/facilitação).
• Análises Adicionais:
  • Similaridade de embeddings (contexto e palavra) entre línguas.
  • Regressão linear mista para isolar o efeito da frequência (na língua da sentença vs. na outra língua) sobre o surprisal.

3. Resultados Principais

3.1. Separação de Línguas vs. Ativação Cross-Lingual

• Os modelos tendem a manter as línguas separadas no espaço de embeddings, a menos que explicitamente forçados a compartilhar um embedding.
• Quando há compartilhamento de embeddings, ocorrem efeitos cross-linguais, mas não necessariamente humanos.

3.2. Efeito de Facilitação Generalizado (Surprisal)

• Cognatos: Mostraram surprisal significativamente menor (facilitação) em comparação com controles nas condições Full Overlap e Friends Overlap.
• Falsos Amigos: Curiosamente, também mostraram surprisal menor (facilitação) em comparação com controles nas condições Full Overlap e False Friends Overlap.
  • Observação Crítica: Em humanos, falsos amigos causam interferência ou nenhum efeito, não facilitação. O modelo falha em replicar a interferência humana para falsos amigos quando os embeddings são compartilhados.

3.3. O Papel da Frequência

• Análises de regressão revelaram que a facilitação observada é impulsionada principalmente pela frequência cumulativa, e não pela consistência semântica (forma-significado).
• Quando um embedding é compartilhado, ele recebe sinais de treinamento de ambas as línguas, aumentando sua frequência efetiva e reduzindo o surprisal, independentemente de ser um cognato ou um falso amigo.
• A condição que melhor reproduz o padrão humano (facilitação para cognatos, mas não para falsos amigos) foi a Friends Overlap. No entanto, isso ocorre porque o modelo foi explicitamente programado para compartilhar apenas cognatos, não porque aprendeu a distinguir semanticamente os falsos amigos.

4. Contribuições Chave

1. Desacoplamento de Frequência e Semântica: O estudo demonstra que em LMs, a "facilitação" cross-lingual é frequentemente um artefato do aumento da frequência de contagem devido ao compartilhamento de embeddings, e não uma representação semântica compartilhada genuína.
2. Validação de Condições de Vocabulário: Identifica que a configuração de vocabulário é crítica. A maioria dos estudos anteriores usa "Full Overlap", o que pode enviesar conclusões sobre transferência cross-lingual, pois não reflete a separação cognitiva de falsos amigos.
3. Limitação Explicativa: Embora os LMs possam reproduzir padrões quantitativos (como a facilitação de cognatos), eles carecem de adequação explicativa para o processamento de falsos amigos, a menos que a arquitetura de vocabulário seja manualmente ajustada para refletir a cognição humana (o que levanta questões sobre a autonomia do aprendizado do modelo).

5. Significado e Conclusão

O artigo conclui que os modelos de linguagem bilíngues não são inerentemente humanos em sua ativação cross-lingual.

• Alinhamento Condicional: O alinhamento com o processamento humano de leitura bilíngue depende criticamente de como a sobreposição lexical é codificada no passo de tokenização/embedding.
• Mecanismo Subjacente: A facilitação em modelos é dominada por sinais de frequência (hipótese da frequência cumulativa), enquanto a interferência humana em falsos amigos depende de competição semântica que os modelos atuais, baseados em estatística de superfície, não conseguem simular naturalmente sem intervenção explícita no vocabulário.
• Implicação Futura: Para que os LMs sejam modelos cognitivos adequados da leitura bilíngue, é necessário investigar mecanismos que permitam a competição semântica e a distinção de significados para formas idênticas, indo além do simples compartilhamento de contagens de frequência.

Em suma, o estudo alerta que a "transferência cross-lingual" em LMs pode ser um reflexo de eficiência estatística (frequência compartilhada) e não necessariamente de uma compreensão linguística ou cognitiva análoga à humana.