Using Morphological Lexicons for Weakly Supervised Subword Vocabulary Learning and Bias-Aware Evaluation

No mundo da inteligência artificial moderna, os computadores não leem palavras da mesma forma que os humanos. Eles veem o texto como uma longa sequência de caracteres e, para compreendê-lo, devem dividir essa sequência em partes menores e mais manejáveis. Essas partes são chamadas de subpalavras. Imagine um computador tentando entender a palavra "unhappiness" (infelicidade). Ele poderia dividi-la em "un", "happi" e "ness", ou talvez apenas "unhappiness" como um único bloco. A maneira como um computador decide onde fazer esses cortes é chamada de tokenização. Durante anos, o método padrão tem sido permitir que o computador aprenda esses cortes por conta própria, observando a frequência com que certas combinações de letras aparecem em quantidades massivas de texto. Essa abordagem estatística é eficiente, mas possui um ponto cego: ela frequentemente corta justamente as partes significativas de uma palavra, separando um prefixo de uma raiz, ou uma raiz de um sufixo, simplesmente porque esses cortes são comuns nos dados. Isso torna a compreensão da linguagem pelo computador menos transparente e, às vezes, menos precisa, especialmente ao lidar com palavras complexas.

Uma equipe de pesquisadores da Universidade Tongji, em Xangai, explorou um caminho diferente. Eles questionaram se um computador poderia aprender a cortar palavras em lugares linguisticamente mais sensíveis se recebesse um leve empurrão de um dicionário de partes de palavras. Em vez de depender apenas de estatísticas brutas, eles introduziram um sistema que utiliza um léxico morfológico — um banco de dados especializado que lista prefixos, raízes e sufixos para milhares de palavras em inglês — como um guia durante o processo de aprendizado. Os pesquisadores não forçaram o computador a seguir o dicionário perfeitamente, nem exigiram que eles rotulassem manualmente cada palavra em seus dados de treinamento. Em vez disso, trataram o dicionário como um sinal fraco, uma dica sutil que diz: "Se você estiver prestes a cortar uma palavra aqui, e este corte corresponder a um prefixo ou sufixo conhecido, você pode querer considerar mantê-lo". Eles testaram essa ideia em três tipos diferentes de tokenizadores de computador, que são as ferramentas que realizam o corte. Os resultados mostraram que esse guia simples ajudou os computadores a alinhar seus cortes com os blocos de construção reais das palavras muito melhor do que faziam sozinhos.

O estudo focou em três métodos específicos que os computadores usam para aprender como dividir palavras. O primeiro, conhecido como Codificação de Par de Bytes (Byte Pair Encoding), é um método muito popular que começa fundindo os pares de letras mais frequentes. O segundo é um estilo de treinamento semelhante ao que alimenta muitos modelos de linguagem de grande escala, que observa o quão bem as combinações de letras se encaixam com base em sua associação. O terceiro é um método probabilístico que calcula a probabilidade de diferentes segmentos de palavras. Os pesquisadores utilizaram um grande banco de dados chamado MorphoLex, que contém análises de cerca de 70.000 palavras em inglês, e o transformaram em três listas simples: uma para prefixos, uma para raízes ou radicais, e uma para sufixos. Durante a fase de treinamento, quando o computador tentava decidir quais combinações de letras manter em seu vocabulário, o sistema verificava essas listas. Se um corte potencial correspondesse a um prefixo, raiz ou sufixo conhecido, o computador dava a essa opção um pequeno aumento em sua classificação. Isso significava que unidades linguisticamente significativas eram ligeiramente mais propensas a serem escolhidas, mas o computador ainda era livre para seguir os padrões estatísticos do texto, caso os dados fossem fortes o suficiente.

Os resultados deste experimento foram claros e consistentes em todos os três métodos. Quando os pesquisadores mediram o quão bem os cortes do computador correspondiam aos verdadeiros limites morfológicos das palavras, as versões guiadas apresentaram um desempenho superior às versões padrão. A melhoria foi mais dramática para o método de Codificação de Par de Bytes, que viu sua precisão na identificação de limites de palavras corretos saltar cinco pontos percentuais. O método probabilístico também teve um ganho significativo de mais de três pontos percentuais. O terceiro método, a abordagem baseada em associação, mostrou uma melhoria menor, porém positiva, de pouco mais de um ponto percentual. Esses ganhos não foram apenas uma coincidência da configuração de teste. Os pesquisadores projetaram sua avaliação cuidadosamente para garantir que os resultados não fossem simplesmente porque o computador havia memorizado as palavras específicas em que estava sendo testado. Eles criaram dois conjuntos de teste diferentes: um que incluía todos os prefixos e sufixos possíveis de seu guia, e outro que não incluía. Eles também dividiram seu dicionário em duas partes, usando uma parte para ensinar o computador e uma parte completamente separada para testá-lo. Mesmo quando o computador foi testado em palavras que nunca tinha visto no dicionário, as melhorias se mantiveram, sugerindo que o sistema realmente aprendeu uma maneira melhor de segmentar palavras.

Uma das descobertas mais interessantes foi como os diferentes métodos de computador reagiram à mesma orientação. O método que dependia puramente de frequência alterou seu vocabulário mais drasticamente, substituindo muitos de seus cortes padrão pelos novos cortes linguisticamente guiados, e isso levou à maior melhoria na precisão. O método probabilístico mudou seu vocabulário menos, mas ainda assim alcançou um forte aumento de desempenho. O método baseado em associação, que já possuía uma lógica interna de como as palavras se encaixam, mudou seu vocabulário de forma mais drástica, mas obteve o menor ganho de precisão. Isso sugere que o valor do guia do dicionário depende de como o computador estava originalmente tentando aprender. Para um computador que aprende apenas contando, o dicionário fornece uma estrutura crucial que lhe faltava. Para um computador que já busca padrões de associação, o dicionário oferece uma correção útil, mas menos transformadora.

Os pesquisadores também observaram como o sistema lidava com palavras simples versus palavras complexas. Para o método baseado em frequência, a melhoria foi exatamente a mesma, quer a palavra tivesse uma parte ou três partes. Para o método probabilístico, a melhoria foi vista principalmente em palavras simples, enquanto as palavras complexas já eram bem manipuladas pelo método padrão. Esse detalhamento mostra que o benefício do uso de um léxico morfológico não é uniforme; ele interage com a forma específica como o computador está aprendendo. O estudo conclui que esses recursos linguísticos podem servir a um duplo propósito. Eles podem atuar como um guia leve para ajudar os computadores a aprenderem melhor as estruturas de vocabulário sem a necessidade de dados rotulados manualmente e de forma cara. Ao mesmo tempo, eles fornecem uma maneira de avaliar esses sistemas de forma mais justa, garantindo que as melhorias sejam reais e não apenas artefatos do uso dos mesmos dados para ensino e teste. O trabalho demonstra que até mesmo uma dica simples e discreta de um dicionário pode ajudar a inteligência artificial a compreender os blocos de construção da linguagem humana de forma mais clara.