Left-Branching Transformers Excel at Right-Branching Languages: Data Shapes Word Order Preferences in Language Models
Este artigo demonstra que os vieses de ordem de palavras em modelos de linguagem decoder-only não são preferências arquiteturais inerentes, mas são, em vez disso, impulsionados pelos dados de treinamento, com os modelos favorecendo estruturas SVO de ramificação à direita em línguas naturais devido à abundância e qualidade dos dados, representando, assim, um risco de redução da diversidade global da ordem das palavras.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A linguagem não é apenas uma coleção de palavras; é um conjunto de regras sobre como essas palavras são organizadas para fazer sentido. Em algumas línguas, o verbo vem depois do sujeito e do objeto, como em "O gato comeu o peixe". Em outras, o verbo vem primeiro, ou o objeto vem antes do sujeito. Esse arranjo, conhecido como ordem das palavras, é uma das formas mais fundamentais pelas quais as línguas humanas diferem. Por décadas, linguistas estudaram esses padrões para entender como o céreão humano aprende e processa a linguagem, buscando regras universais que possam se aplicar a todas as pessoas em todos os lugares. Hoje, um novo tipo de aprendiz entrou no campo: a inteligência artificial. Esses programas de computador, chamados modelos de linguagem, são treinados em vastas quantidades de texto e podem gerar sentenças semelhantes às humanas. Uma questão crítica surgiu: será que essas máquinas aprendem a linguagem da mesma forma que os humanos, ou elas desenvolvem suas próprias preferências ocultas sobre como as palavras devem ser ordenadas?
Uma equipe de pesquisadores partiu para responder a isso testando como esses modelos lidam com diferentes ordens de palavras. Eles construíram um experimento controlado usando dois tipos de dados muito diferentes. Primeiro, criaram centenas de línguas artificiais. Estas não eram línguas reais faladas por pessoas, mas constructos matemáticos projetados para isolar características específicas. Imagine uma língua onde a única coisa que muda é se o adjetivo vem antes ou depois do substantivo, ou se o verbo vem no início ou no fim de uma frase. Ao remover a complexidade da fala humana real — como o contexto cultural, a gramática irregular e os dados desordenados — os pesquisadores puderam ver se o modelo de computador tinha uma preferência intrínseca por uma estrutura específica sobre outra. Eles então compararam esses resultados com o desempenho dos mesmos modelos em línguas naturais e reais de todo o mundo, variando de inglês e espanhol a japonês e suaíli.
Os achados revelaram uma divisão surpreendente na forma como esses modelos se comportam. Quando os pesquisadores treinaram os modelos nas línguas artificiais, os computadores preferiram consistentemente uma estrutura específica onde os modificadores vinham antes da palavra principal, um padrão que os linguistas chamam de "ramificação à esquerda" (left-branching). Essa preferência era tão forte que aparecia independentemente da ordem base da sentença. No entanto, essa preferência não correspondia ao que sabemos sobre o aprendizado de línguas humanas. Os humanos tendem a preferir a consistência; se uma língua coloca o verbo no final, os humanos geralmente esperam que outras partes da sentença sigam um padrão semelhante. As línguas artificiais mostraram que os modelos não estavam seguindo a lógica humana ou os padrões estatísticos encontrados nas línguas do mundo. Em vez disso, os modelos pareciam favorecer uma estrutura que era simplesmente mais fácil para sua arquitetura específica processar, um viés que existia independentemente de quaisquer regras linguísticas do mundo real.
A história mudou completamente quando os pesquisadores trocaram para dados do mundo real. Quando os modelos foram treinados em línguas naturais, mas com apenas uma pequena quantidade de texto — cerca de cinco megabytes por língua — eles não mostraram uma preferência clara por qualquer ordem de palavras específica. Eles estavam igualmente confortáveis com diferentes arranjos. No entanto, conforme os pesquisadores aumentavam a quantidade de dados de treinamento para uma escala muito maior, cerca de mil megabytes, um padrão distinto emergiu. Os modelos começaram a favorecer línguas onde o sujeito vem antes do verbo, e o verbo vem antes do objeto, como o inglês ou o chinês. Isso é conhecido como ordem Sujeito-Verbo-Objeto, ou SVO. Curiosamente, essa preferência tornou-se mais forte à medida que os modelos viam mais dados, embora outra ordem, onde o verbo vem ao final (Sujeito-Objeto-Verbo), seja na verdade mais comum entre as línguas do mundo.
Os pesquisadores investigaram por que essa mudança aconteceu. Eles descobriram que a preferência pelo SVO não era porque a arquitetura do computador fosse inerentemente melhor em entender essa ordem específica. Em vez disso, a preferência era impulsionada inteiramente pelos dados com os quais os modelos foram alimentados. As línguas que estão mais amplamente disponíveis na internet e em bibliotecas digitais — frequentemente chamadas de línguas de "alto recurso" — são predominantemente SVO. Como os modelos foram treinados em quantidades massivas de texto dessas línguas específicas, eles aprenderam a priorizar essa estrutura. Quando os pesquisadores observaram modelos treinados em línguas com pouquíssimos dados disponíveis, a vantagem do SVO desapareceu. Isso sugere que os modelos não estão descobrindo uma verdade universal sobre a linguagem; eles estão simplesmente refletindo o desequilíbrio na informação a que têm acesso.
Esta descoberta tem implicações significativas para o futuro da tecnologia de linguagem. Se esses modelos forem cada vez mais usados para traduzir, escrever ou comunicar-se em línguas menos comuns ou com ordens de palavras diferentes, há o risco de que eles empurrem sutilmente essas línguas em direção à estrutura SVO. Os modelos podem tornar mais difícil o uso ou a compreensão das ordens de palavras naturais e flexíveis que muitas línguas utilizam para expressar nuances, foco ou emoção. O estudo mostra que, embora o design interno do computador possa ter um leve viés, os dados que ele consome são a força dominante que molda seu comportamento. À medida que essas ferramentas se tornam mais difundidas, a maneira como curamos e selecionamos os dados dos quais eles aprendem determinará se eles preservarão a rica diversidade da linguagem humana ou se a suavizarão gradualmente em um padrão único e uniforme.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.