💬 NLP

SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens

O artigo apresenta o SONAR-LLM, um transformador apenas com decodificador que gera texto prevendo incorporações de sentenças contínuas no espaço SONAR enquanto é treinado por meio de um objetivo de entropia cruzada em nível de token, combinando assim a abstração semântica dos Modelos de Grandes Conceitos com a eficiência e o treinamento baseado em verossimilhança da previsão autoregressiva de tokens.

Autores originais: Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

Publicado 2026-05-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a escrever uma história.

O Jeito Antigo (LLMs Padrão): O Construtor Tijolo por Tijolo
A maioria dos modelos de IA atuais é como um pedreiro muito rápido e extremamente meticuloso. Para construir um muro (uma história), ele coloca um tijolo (uma palavra ou "token") de cada vez. Ele para, pensa, coloca um tijolo, para, pensa, coloca outro.

Prós: Eles são muito precisos.
Contras: Se você quiser construir um arranha-céu (um documento muito longo), esse processo leva muito tempo. É lento porque eles precisam parar e pensar para cada pequena peça individual.

O Jeito "LCM" (O Experimento Anterior): O Sonhador
Recentemente, pesquisadores tentaram uma nova abordagem chamada "Modelo de Conceito Grande" (LCM). Em vez de colocar tijolos, esse modelo tenta "sonhar" em frases. Ele imagina o significado da próxima frase como uma nuvem suave e contínua de ideias (um "embedding"), em vez de palavras específicas.

Prós: Ele pula os tijolos minúsculos e salta direto para a imagem geral. É mais rápido para histórias longas.
Contras: Como ele apenas "sonha" em nuvens de significado, às vezes ele erra as palavras reais. É como um pintor que sabe exatamente como o pôr do sol se sente, mas tem dificuldade em misturar os tons exatos de laranja e vermelho. O treinamento também foi instável, como tentar equilibrar-se em uma escada trêmula.

O Jeito Novo (SONAR-LLM): O Arquiteto com um Projeto
Este artigo apresenta o SONAR-LLM. Ele combina o melhor dos dois mundos.

Pense no SONAR-LLM como um Arquiteto que pensa em "Projetos de Frase" mas fala em "Tijolos".

Pensando em Projetos: Como o Sonhador, o SONAR-LLM planeja sua história prevendo a próxima frase como uma unidade inteira. Ele não se preocupa com a próxima palavra; preocupa-se com a próxima ideia. Isso o mantém rápido e eficiente, mesmo para romances de milhões de palavras.
Falando em Tijolos: Aqui está o truque mágico. Uma vez que o Arquiteto tem o "projeto" (a ideia da frase), ele não apenas adivinha as palavras. Ele passa esse projeto por um tradutor pré-treinado congelado (o decodificador SONAR). Esse tradutor é um especialista em transformar ideias abstratas em frases perfeitas e gramaticalmente corretas.
O Ciclo de Feedback: O modelo é então avaliado sobre o quão bem as palavras reais que ele produziu correspondem à história-alvo. Isso lhe dá um sinal claro e estável para aprender (diferentemente do Sonhador), garantindo que a história final soe natural e humana.

Por que isso é um grande feito?

Velocidade vs. Qualidade: É rápido como o Sonhador (porque processa frases inteiras de uma vez) mas preciso como o Pedreiro (porque é avaliado nas palavras reais).
Histórias Longas: O artigo mostra que, para textos muito longos (até 1 milhão de palavras), o SONAR-LLM torna-se muito mais eficiente do que os modelos padrão. É como mudar de andar passo a passo para dar passos gigantes; quanto mais longa a jornada, maior a vantagem.
O Segredo do "Congelamento": A equipe manteve o "tradutor" (o decodificador) congelado, o que significa que eles não o re-treinaram. Isso economizou uma quantidade massiva de poder de computação. Eles treinaram apenas a parte do "Arquiteto" que decide qual deve ser a próxima frase.

O que eles descobriram?

Histórias Melhores: Quando pediram a um juiz de IA (GPT-4o) para avaliar as histórias, o SONAR-LLM escreveu histórias melhores, mais criativas e mais consistentes do que os modelos anteriores de "Sonhador".
Resumo: Também foi muito bom em resumir artigos longos em frases curtas e impactantes.
A Pegadinha: Se a tarefa exigir precisão extrema com números ou símbolos (como encontrar um número de telefone específico em um palheiro), o modelo funciona melhor se você descongelar o tradutor e permitir que ele aprenda esses detalhes específicos. Mas para narrativa e resumo normais, mantê-lo congelado é perfeito.

Em Resumo:
O SONAR-LLM é um novo tipo de escritor de IA que planeja suas histórias em grandes blocos significativos (frases) para manter a velocidade, mas usa um especialista confiável para traduzir esses blocos em palavras perfeitas. Isso o torna mais rápido do que os modelos atuais para documentos longos, sem sacrificar a qualidade da escrita.

Resumo Técnico: SONAR-LLM

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) autoregressivos operam tipicamente no nível de token, minimizando a entropia cruzada sobre um vocabulário discreto. Embora eficazes, essa decodificação de granularidade fina cria um gargalo de throughput para sequências longas. Por outro lado, o Modelo de Conceito Grande (LCM) da Meta aborda a latência prevendo embeddings de nível de sentença em um espaço contínuo usando objetivos de difusão ou Erro Quadrático Médio (MSE). No entanto, a remoção das probabilidades no nível de token nos LCMs leva a uma otimização menos estável e a dificuldades em manter a estrutura narrativa. Há uma necessidade de um modelo que retenha a abstração semântica e a eficiência da geração de nível de sentença, ao mesmo tempo que restaura a estabilidade do treinamento baseado em probabilidades.

Metodologia

SONAR-LLM é um Transformer apenas decodificador que opera no espaço contínuo de embeddings de sentença SONAR, mas é supervisionado via entropia cruzada no nível de token.

Arquitetura: O modelo prevê o próximo embedding de sentença ( $\hat{e}_t$ ) dado um prefixo de embeddings ( $e_{<t}$ ). Utiliza uma arquitetura padrão de Transformer apenas decodificador (semelhante ao Llama 3) com codificações de posição rotacionais e RMS-norm, mas com um vocabulário de embeddings de tamanho um (prevendo vetores contínuos em vez de tokens discretos).
Objetivo Híbrido: Para evitar objetivos de difusão ou MSE, o modelo propaga a perda através de um decodificador SONAR congelado. O embedding previsto $\hat{e}_t$ é decodificado de volta em logits de token usando o decodificador congelado ( $D$ ) e os tokens anteriores verdadeiros ( $s_{t,<i}$ ). O modelo minimiza a entropia cruzada padrão entre esses logits e a sequência de tokens verdadeiros da sentença alvo.
Processo de Treinamento:
- O texto é segmentado em sentenças usando o tokenizador Punkt.
- As sentenças são codificadas em vetores de comprimento fixo ( $d=1024$ ) usando um codificador multilíngue SONAR congelado.
- O modelo é treinado com forçamento do professor, onde o embedding verdadeiro é fornecido para o próximo passo de tempo.
- A geração para quando a similaridade cosseno entre o embedding previsto e um embedding especial "Fim da sequência" excede um limiar ( $\tau_{stop}=0.98$ ) ou quando é atingida uma contagem máxima de sentenças.
Descongelamento do Decodificador: Embora os experimentos principais mantenham o codificador e o decodificador SONAR congelados para eficiência, os autores exploraram o descongelamento do decodificador. Isso reduziu significativamente a entropia cruzada de validação, mas gerou ganhos substanciais apenas em tarefas ricas em símbolos (por exemplo, recuperação de "agulha no palheiro") em vez de geração de linguagem natural padrão.

Principais Contribuições

Objetivo de Embedding Consciente de Token: Introdução de um método de treinamento que retropropaga a entropia cruzada no nível de token através de um decodificador SONAR congelado, alinhando previsões contínuas de sentença com alvos de tokens discretos.
Análise das Leis de Escala: Um ajuste detalhado das leis de escala ( $L(N) = aN^{-\alpha} + b$ ) através de tamanhos de modelo (de 39M a 1,3B de parâmetros), quantificando expoentes de escala para SONAR-LLM, LLMs padrão e variantes de LCM.
Avaliação Abrangente: Avaliação da qualidade do texto usando métricas padrão de GNL (BLEU, ROUGE-L, METEOR) e avaliações baseadas em GPT-4o (gramática, criatividade, consistência, enredo), juntamente com benchmarks de sumarização (XSum, CNN/DM).
Análise de Eficiência de Inferência: Uma análise teórica de FLOPs demonstrando que operar em segmentos de sentença produz uma escala favorável para sequências longas em comparação com a decodificação no nível de token.
Lançamento de Código de Código Aberto: Lançamento público do código de treinamento, scripts de avaliação e checkpoints pré-treinados.

Resultados

Comportamento de Escala: O SONAR-LLM exibe um forte expoente de escala ( $\alpha \approx 0.596$ ), comparável a outros modelos baseados em embeddings, e demonstra um aproveitamento eficiente do aumento da capacidade do modelo.
Qualidade de Geração de Texto: Nas avaliações do GPT-4o, o SONAR-LLM superou significativamente tanto as variantes de LCM baseadas em MSE quanto as baseadas em difusão em métricas de gramática, criatividade, consistência e enredo. Embora LLMs padrão no nível de token (com busca em feixe) tenham alcançado as pontuações absolutas mais altas, o SONAR-LLM igualou ou aproximou-se de seu desempenho em métricas padrão de GNL (ROUGE-L, METEOR) na maior escala (900M de parâmetros).
Sumarização: O SONAR-LLM superou substancialmente as baselines de nível de sentença (LCMs MSE e Difusão) no XSum e CNN/DM. Igualou os LLMs no nível de token no conjunto de dados XSum, mais abstrativo, mas permaneceu ligeiramente atrás no CNN/DM, que favorece abordagens extrativas.
Impacto do Descongelamento: O descongelamento do decodificador SONAR melhorou a precisão de correspondência exata no benchmark RULER (NIAH) de 21,6% para 41%, indicando benefícios para tarefas que exigem reprodução precisa de números ou símbolos, mas não ofereceu ganhos significativos para sumarização padrão.
Eficiência de Inferência: A análise teórica mostra que, embora ambas as abordagens tenham complexidade quadrática, o custo efetivo do SONAR-LLM cresce quase linearmente com o comprimento da sequência até 1 milhão de tokens. Supera os LLMs padrão em eficiência de inferência para sequências mais longas que aproximadamente 4.096 tokens.

Significado e Alegações

O artigo afirma que o SONAR-LLM conecta com sucesso a lacuna entre modelos baseados em conceitos e LLMs autoregressivos tradicionais. Ao reter a abstração semântica do processamento de nível de sentença, ao mesmo tempo que restaura um sinal de treinamento baseado em probabilidades, o modelo alcança otimização estável e qualidade de geração competitiva sem a necessidade de amostradores de difusão.

Os autores posicionam o SONAR-LLM como uma alternativa promissora para geração de contexto longo, oferecendo uma opção prática e escalável onde o custo computacional cresce mais lentamente do que em modelos de nível de token. Eles observam que, embora o modelo raciocine em embeddings de sentença, ele não introduz capacidades generativas fundamentalmente novas além dos LLMs existentes, mas oferece um nível de abstração diferente que pode melhorar a eficiência e a coerência estrutural em sequências longas. O trabalho é apresentado como um passo adiante na geração de linguagem eficiente e escalável e no aprendizado de representação.