TANGO: Token-Aggregated Nonlinear Gating Operators for Natural and Formal Language Modeling
Este artigo apresenta o TANGO, uma nova arquitetura de modelo de linguagem que substitui as subcamadas padrão do Transformer por uma atualização residual com portão entre tokens (cross-token gated residual update) para alcançar um desempenho superior em conjuntos de dados matemáticos e educacionais, juntamente com sua variante de complexidade linear, o WANGO, que supera os modelos de tempo linear existentes.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, as ferramentas mais poderosas para compreender a linguagem baseiam-se numa estrutura chamada Transformer. Imagine um leitor a percorrer um documento longo; para compreender uma palavra específica, ele deve olhar para trás, para as palavras que vieram antes dela, para captar o contexto. Os modelos de IA padrão fazem isto utilizando dois passos distintos. Primeiro, eles percorrem todo o histórico do texto para reunir informações relevantes de palavras passadas, um processo semelhante a um bibliotecário a localizar rapidamente todos os livros que possam ser relevantes para um tópico. Segundo, eles pegam nessa informação reunida e processam-na através de um filtro separado e independente em cada posição da frase para refinar o significado. Esta dança de dois passos serviu bem o campo, mas é computacionalmente pesada, exigindo que o modelo realize uma quantidade massiva de cálculos para cada nova palavra que gera, especialmente à medida que o texto se torna mais longo. Investigadores procuram há muito uma forma de combinar estes passos ou simplificá-los, esperando construir modelos que sejam simultaneamente mais inteligentes e mais eficientes, capazes de lidar com vastas quantidades de informação sem ficarem sobrecarregados pelo peso puro da matemática necessária para o processamento.
Um investigador da Universidade Indiana de Bloomington introduziu uma nova abordagem que remodela fundamentalmente a forma como estes modelos interagem com a linguagem. Eles chamam à sua criação TANGO, que significa Operadores de Portão Não Lineares Agregados por Token (Token-Aggregated Nonlinear Gating Operators). Em vez de manter os passos de recolha de informação e de refinamento de informação separados, o TANGO funde-os numa única ação unificada. Neste novo design, cada palavra numa frase atua como uma fonte de controlo. À medida que o modelo lê, cada palavra gera um conjunto específico de instruções, ou "portões" (gates), que determinam quanta importância deve ser atribuída a diferentes características do texto. Quando o modelo chega a uma nova palavra, não se limita a olhar para trás para encontrar as palavras passadas mais relevantes; ele olha para trás para ver que instruções essas palavras passadas prepararam. Ele então faz a média destas instruções e utiliza-as para escalar, ou ajustar, as características da palavra atual antes de a adicionar à memória do modelo. Isto significa que a influência de uma palavra passada não é apenas sobre o que ela diz, mas sobre como ela diz à palavra atual para interpretar a si própria.
O investigador desenvolveu duas versões deste sistema para testar diferentes equilíbrios entre precisão e velocidade. A primeira, TANGO, observa cada uma das palavras que veio antes da palavra atual, não importa quão atrás no texto estejam. Esta abordagem de "prefixo total" (full-prefix) permite que o modelo tire partido de todo o histórico da conversa ou documento, resultando numa compreensão altamente precisa do contexto. No entanto, como tem de comparar a palavra atual com cada uma das palavras anteriores, a quantidade de trabalho que tem de realizar cresce rapidamente à medida que o texto se torna mais longo. A segunda versão, chamada WANGO, adota uma abordagem mais prática para textos muito longos. Ela presta atenção minuciosa às palavras mais recentes, tratando-as com o mesmo cuidado detalhado de histórico completo do primeiro modelo. Para palavras mais antigas que caem fora de uma janela recente, o WANGO utiliza um método diferente e mais eficiente para resumir a sua influência. Ele mantém uma contagem contínua das instruções que essas palavras mais antigas geraram, permit que incorpore a sabedoria delas sem ter de recalcular a relação com cada uma delas individualmente. Esta modificação faz com que a carga de trabalho do modelo Wango cresça em linha reta à medida que o texto se alonga, em vez de explodir em complexidade, tornando-o muito mais rápido para sequências longas.
Para verificar como estes novos designs se saíam face à tecnologia existente, o investigador treinou seis modelos diferentes utilizando exatamente a mesma quantidade de dados, o mesmo número de parâmetros e o mesmo cronograma de treino. Eles testaram estes modelos em três desafios muito diferentes: uma grande coleção de textos educativos da web, uma biblioteca de provas matemáticas formais escritas numa linguagem chamada Lean, e um conjunto de problemas matemáticos do DeepMind. Os resultados mostraram que o modelo TANGO, com a sua visão de histórico completo, alcançou a maior precisão em todos os três testes, produzindo as previsões mais fiáveis para a próxima palavra numa sequência. Superou todos os outros modelos, incluindo aqueles que utilizam métodos tradicionais de partilha de parâmetros entre camadas. O modelo WANGO também teve um desempenho excecional, particularmente na categoria de modelos concebidos para serem eficientes. Entre as arquiteturas que podiam lidar com textos longos sem que o seu custo computacional disparasse, o WANGO produziu os resultados mais precisos. Superou inclusive um modelo que utilizava uma quantidade de cálculo semelhante, mas que dependia de técnicas mais antigas e padrão.
O estudo destaca uma mudança significativa na forma como estes sistemas podem ser construídos. Ao permitir que as palavras controlem o processamento de outras palavras através destes portões agregados, o investigador descobriu uma forma de criar modelos que são simultaneamente poderosos e, no caso do Wango, eficientes. O modelo TANGO demonstrou que um passo único e unificado para recolher e refinar informação pode superar o desempenho do processo tradicional de dois passos, mesmo quando o modelo é forçado a realizar mais trabalho matemático. Entretanto, o modelo Wango provou que este alto nível de desempenho não tem de vir à custa da velocidade; ao resumir a informação mais antiga de forma inteligente, manteve uma alta precisão enquanto mantinha o custo computacional gerível. O investigador foi cuidadoso ao notar que estas descobertas se baseiam na capacidade dos modelos de prever a próxima palavra numa sequência, uma medida padrão de compreensão de linguagem, e não afirmou que os modelos poderiam necessariamente resolver os problemas matemáticos ou escrever as provas perfeitamente por conta própria. No entanto, os resultados sugerem que esta nova forma de portões de informação oferece um caminho promissor para a construção de IA que possa compreender linguagem complexa e contextos longos com maior precisão e eficiência.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.