Os computadores modernos que compreendem a linguagem humana não leem palavras da mesma forma que nós. Eles não veem uma frase como um fluxo contínuo de significado; em vez disso, veem uma longa lista de pedaços pequenos e discretos. Para fazer isso funcionar, os engenheiros devem primeiro decompor cada frase nesses fragmentos minúsculos, um processo chamado de tokenização. Durante décadas, o método padrão para fazer isso foi puramente estatístico. O computador observa uma biblioteca massiva de textos e conta com que frequência certas combinações de letras aparecem juntas. Se duas letras ou pequenos grupos de letras aparecem juntos com muita frequência, o computador decide colá-los em uma única unidade. Essa abordagem é excelente para comprimir dados, permitindo que o computador processe vastas quantidades de texto rapidamente. No entanto, ela trata a linguagem como uma sacola de letras aleatórias, em vez de um sistema estruturado de significado. Ela ignora as regras profundas de como as palavras são construídas, como a forma como uma palavra raiz muda quando você adiciona um prefixo ou um sufixo. Esse ponto cego torna-se um grande problema para línguas que são ricas nessas regras estruturais, particularmente muitas línguas da Índia, onde as palavras são formadas pela combinação de sílabas complexas e marcadores gramaticais de formas que os métodos computacionais padrão frequentemente falham em respeitar.

Pesquisadores da Motilal Oswal Financial Services e do Instituto de Tecnologia de Bombaim desenvolveram uma nova abordagem para corrigir este problema, chamando-a de SuTRA. Eles observaram que o método estatístico padrão frequentemente divide as palavras de maneiras que destroem seu significado. Eles nomearam esse fenômeno destrutivo como "fragmentação morfológica". Imagine uma palavra que consiste em um significado central e uma terminação gramatical. Um computador padrão pode dividir a palavra exatamente no meio do núcleo, separando o significado essencial de seu início ou fim, ou pode fundir um prefixo a uma raiz de uma forma que obscurece seus papis distintos. Isso é especialmente prejudicial para as línguas índicas, que utilizam escritas onde uma consoante e uma vogal dependente formam uma unidade visual única e indivisível chamada akshara. Os tokenizadores padrão frequentemente dividem essas unidades, separando a vogal da consoante à qual ela pertence, e muitas vezes ignoram os limites entre a raiz de uma palavra e seus anexos gramaticais. O resultado é uma representação fragmentada onde o computador tem dificuldade em compreender o verdadeiro núcleo semântico de uma palavra, tornando mais difícil para a máquina aprender ou traduzir de forma eficaz.

Para resolver isso, a equipe criou um novo algoritmo que respeita a estrutura natural dessas línguas. Em vez de deixar o computador decidir como dividir as palavras baseando-se apenas na frequência com que as letras aparecem juntas, eles ensinaram o sistema a reconhecer os blocos de construção da língua primeiro. Eles começaram criando um novo conjunto de dados verificado para o hindi, marata e gujarati. Isso não era uma simples lista de palavras; era um mapa detalhado mostrando exatamente onde as raízes das palavras começam e terminam, e onde os marcadores gramaticais se anexam. Como os recursos existentes eram incompletos ou dependiam de regras imperfeitas, os pesquisadores usaram um modelo de linguagem de grande escala para verificar e corrigir as divisões, garantindo que cada palavra em seu conjunto de dados fosse decomposta de acordo com suas verdadeiras raízes linguísticas. Este conjunto de dados de padrão ouro tornou-se a base para o treinamento de seu novo tokenizador.

O novo método, SuTRA, funciona em dois estágios. Primeiro, ele observa o texto e agrupa as letras em suas unidades silábicas naturais e indivisíveis, garantindo que uma vogal nunca seja separada da consoante que ela modifica. Ele também marca os limites onde uma palavra raiz termina e um sufixo gramatical começa, com base no conjunto de dados verificado. No segundo estágio, ele constrói seu vocabulário fundindo essas unidades, mas com uma diferença crucial: é proibido fundir através dos limites que acabou de identificar. Se o computador tentar colar um prefixo a uma raiz de uma forma que viole a estrutura linguística, o sistema penaliza esse movimento. Ele força o computador a aprender as raízes válidas primeiro, tratando-as como blocos sólidos e inquebráveis, antes de permitir que sejam combinadas com outras partes. Isso garante que as peças finais que o computador usa para compreender a linguagem sempre contenham uma raiz completa e significativa.

Os resultados desta abordagem estrutural foram significativos. Quando testado contra os métodos padrão, o novo tokenizador mostrou uma capacidade muito melhor de manter as palavras intactas. No hindi, ele melhorou o alinhamento entre as partes das palavras do computador e as raízes linguísticas reais em quase quinze por cento. No marata, a melhoria foi ainda mais pronunciada, atingindo mais de trinta e quatro por cento em termos de quão bem o computador poderia recuperar o significado original de uma palavra a partir de seus fragmentos. Essa clareza estrutural traduziu-se diretamente em um melhor desempenho em tarefas do mundo real. Quando os pesquisadores usaram o novo tokenizador para treinar um sistema de tradução automática para traduzir entre o hindi e o marata, a qualidade da tradução melhorou visivelmente. O sistema produziu menos erros e capturou as nuances da língua com mais precisão do que os sistemas que utilizavam os antigos métodos puramente estatísticos. Além disso, o novo tokenizador provou ser mais robusto; quando o texto de entrada continha pequenos erros de digitação ou variações menores de ortografia, o novo sistema mantinha a integridade da raiz da palavra, enquanto os sistemas antigos frequentemente desmoronavam, tratando o erro de digitação como um sinal para resegmentar completamente a palavra.

Os pesquisadores também demonstraram que essa abordagem não veio ao custo da eficiência. Embora o novo método tenha criado um número ligeiramente maior de peças para algumas palavras para garantir que fossem linguisticamente corretas, ele não criou um número excessivo de fragmentos que pudessem atrasar o computador. O sistema conseguiu manter o tamanho do vocabulário gerenciável enquanto alcançava uma compreensão muito mais profunda da estrutura da língua. Ao priorizar os limites naturais da língua sobre as simples contagens de frequência, a equipe mostrou que é possível guiar a inteligência artificial para respeitar a lógica da fala humana. Este trabalho sugere que, para línguas com estruturas complexas, o caminho para uma melhor inteligência artificial reside não apenas em alimentar o computador com mais dados, mas em ensiná-lo a ver a língua da maneira que seus falantes veem: como um sistema coerente de raízes e anexos, em vez de um fluxo caótico de letras. As descobertas oferecem um roteiro prático para melhorar a forma como as máquinas lidam com as línguas mais linguisticamente diversas do mundo, garantindo que a tecnologia sirva à estrutura da língua em vez de parti-la.