💬 NLP

When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models

Este artigo apresenta o UniLang, um framework generativo unificado que estende modelos de linguagem de grande escala pré-treinados para processar e gerar nativamente símbolos nativos de máquina juntamente com a linguagem natural, preenchendo assim a lacuna entre a modelagem linguística e a predição estruturada sem exigir verbalização ou arquiteturas específicas para tarefas.

Autores originais: Su Yan, Rakesh Iyer

Publicado 2026-08-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Su Yan, Rakesh Iyer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta paisagem da inteligência artificial, uma tensão silenciosa existe há muito tempo entre duas formas de descrever o mundo. De um lado está a linguagem que falamos, um meio fluido e rico que os humanos usam para compartilhar histórias, ideias e sentimentos. Os grandes modelos de linguagem, os poderosos programas de computador que podem escrever ensaios ou responder a perguntas, são treinados nesta linguagem humana. Eles entendem o mundo através de palavras. Do outro lado está a linguagem das máquinas, um sistema rígido e compacto de códigos e números. Os computadores frequentemente armazenam informações complexas, como um filme específico ou uma decisão judicial, não como um parágrafo de texto, mas como uma sequência curta e eficiente de símbolos. Esses símbolos são perfeitos para cálculo e armazenamento, mas são invisíveis para os modelos de linguagem que dependem de palavras humanas. Durante anos, pesquisadores tiveram que escolher entre esses dois mundos. Para fazer um computador entender um código de máquina, muitas vezes era necessário traduzi-lo em uma frase primeiro, o que poderia perder detalhes importantes. Ou tinham que construir sistemas especiais e separados apenas para os códigos, deixando para trás o poderoso conhecimento dos modelos de linguagem.

Uma equipe de pesquisadores do Google propôs agora uma maneira de unir esses dois mundos sem forçar uma tradução. Eles introduziram um novo framework chamado UniLang, que permite que um framework unificado trate códigos de máquina como se fossem palavras. Em vez de converter um símbolo de máquina em uma frase como "um filme de 1999", o modelo aprende a gerar o próprio símbolo como parte direta de sua saída, tal como geraria a palavra "filme". Os pesquisadores testaram essa ideia em dois problemas muito diferentes: prever o que uma pessoa poderá assistir a seguir com base em seu histórico, e encontrar a frase exata em um caso judicial passado que sustenta um novo argumento jurídico. Em ambos os casos, o novo método funcionou melhor do que os sistemas existentes que dependiam puramente de texto ou puramente de códigos. Ao permitir que o modelo fale tanto a linguagem humana quanto os símbolos de máquina ao mesmo tempo, os pesquisadores mostraram que a inteligência artificial pode lidar com dados estruturados de forma mais precisa, mantendo ainda o vasto conhecimento que aprendeu ao ler livros e sites humanos.

O cerne deste trabalho reside em como os pesquisadores ensinaram o computador a enxergar esses símbolos de máquina. Imagine uma biblioteca onde cada livro tem um código de barras exclusivo. Por muito tempo, um bibliotecário que falasse apenas inglês não conseguiria entender o código de barras; ele teria que ler o título na capa para saber do que se tratava o livro. O novo método dá ao bibliotecário um novo conjunto de ferramentas. Eles pegam o código de barras e ensinam ao bibliotecário que esse padrão específico de linhas significa "o livro sobre viagens espaciais", não por ler uma descrição, mas por aprender a conexão direta entre o padrão e o objeto. No estudo, os pesquisadores pegaram milhares de itens, como filmes ou casos jurídicos, e os transformaram nesses códigos de máquina compactos. Eles então usaram um processo de aprendizagem para alinhar esses códigos com as descrições textuais dos mesmos itens. Isso significou que, quando o computador via o código de um filme específico, ele o entendia da mesma forma que entendia as palavras "filme de ação dos anos 1980".

Uma vez que o computador aprendeu este novo vocabulário, os pesquisadores pediram que ele realizasse tarefas que normalmente exigem dois tipos diferentes de pensamento. No primeiro teste, o computador atuou como um mecanismo de recomendação. Foi mostrado a ele uma lista de filmes que uma pessoa assistiu, descritos por seus títulos e gêneros em inglês normal, seguidos pelos códigos de máquina desses filmes. O computador então teve que prever o próximo filme. Em vez de adivinhar um título, ele gerou o código de máquina para o próximo filme, juntamente com seu ano e gênero. Essa abordagem manteve a estrutura precisa dos dados intacta. No segundo teste, o computador atuou como um pesquisador jurídico. Foi dado a ele um parágrafo de texto de um novo caso judicial e pediu-se que encontrasse a frase específica de um caso antigo que apoiasse o argumento. Novamente, o computador não buscou apenas palavras-chave; ele gerou o código de máquina que representava o parágrafo exato do caso antigo que correspondia ao contexto.

Os resultados desses testes foram claros e consistentes. Na tarefa de recomendação de filmes, o novo método superou significativamente outros sistemas que tentaram resolver o problema usando apenas texto ou apenas códigos. No maior conjunto de dados de filmes, a nova abordagem melhorou a precisão de encontrar a recomendação correta em mais de cem por cento em comparação com alguns métodos anteriores. Na tarefa jurídica, encontrou a frase de apoio correta com muito mais frequência do que os sistemas projetados especificamente para textos jurídicos. Os pesquisadores descobriram que a chave para esse sucesso não foi apenas adicionar os códigos, mas manter a linguagem humana na mistura. Quando removeram as descrições textuais e pediram ao computador para trabalhar apenas com os códigos, o sistema teve dificuldades e perdeu o rumo. A linguagem humana forneceu um contexto necessário, um tipo de fundamentação que ajudou o computador a entender o significado por trás dos símbolos.

Este trabalho sugere um novo caminho para como a inteligência artificial pode evoluir. Por muito tempo, o campo tratou a linguagem e os dados estruturados como domínios separados, exigindo ferramentas diferentes para cada um. Os pesquisadores demonstraram que um framework unificado pode aprender a falar ambas as línguas fluentemente, tratando um código de máquina e uma palavra humana como parceiros iguais em uma conversa. Isso não significa que o computador deixe de entender a linguagem humana; pelo contrário, expande sua capacidade de interagir com o mundo digital diretamente. O estudo mostrou que, ao integrar esses símbolos nativos de máquina ao vocabulário do modelo, o sistema poderia lidar com informações estruturadas complexas sem perder o rico conhecimento de mundo que adquiriu ao ler textos humanos. Os pesquisadores observaram que, embora o sistema tenha se destacado nessas tarefas de previsão, eles não testaram se essa nova forma de pensar afetaria a capacidade do modelo de escrever poesia ou contar histórias, deixando essa questão para explorações futuras.

As implicações desta abordagem estendem-se para além de apenas filmes ou casos jurídicos. Os pesquisadores mostraram que o mesmo framework poderia ser aplicado a diferentes tipos de dados estruturados sem a necessidade de alterar a arquitetura subjacente do modelo. Quer a tarefa fosse prever o próximo item em uma sequência ou encontrar uma passagem específica em um vasto banco de dados jurídico, o método permaneceu o mesmo. Essa flexibilidade sugere que, no futuro, os sistemas de inteligência artificial podem não precisar ser construídos do zero para cada novo tipo de dado. Em vez disso, um framework unificado poderia ser ensinado a entender a "linguagem" única de qualquer sistema, desde registros médicos até transações financeiras, simplesmente aprendendo a gerar os símbolos corretos. O estudo fornece uma prova de conceito de que a divisão entre a linguagem humana e o código de máquina pode ser superada, permitindo que a inteligência artificial opere de forma mais natural dentro dos ambientes estruturados que impulsionam grande parte do nosso mundo moderno.

Resumo Técnico: UniLang – Um Framework Generativo Unificado para Integração de Símbolos Nativos de Máquina

Declaração do Problema

Sistemas de IA modernos frequentemente representam entidades, comportados e informações estruturadas usando símbolos discretos nativos de máquina (ex: códigos quantizados por vetor, IDs semânticos, códigos CID) em vez de linguagem natural. Embora essas representações sejam compactas, computacionalmente eficientes e preservem informações estruturais explícitas, elas existem fora do espaço de tokens linguísticos de Modelos de Linguagem de Grande Escala (LLMs) pré-treinados.

Isso cria uma divisão metodológica fundamental:

Abordagens de Verbalização: Converter dados estruturados em descrições de linguagem natural permite que os LLMs os processem, mas corre o risco de obscurecer a estrutura nativa, introduzir ambiguidade e sacrificar a precisão em nível de máquina.
Modelos Específicos para Tarefas: Operar diretamente sobre símbolos nativos de máquina preserva a estrutura, mas falha em aproveitar o conhecimento linguístico e de mundo codificado em LLMs pré-treinados dentro de um espaço generativo unificado.

A limitação central é representacional: os LLMs pré-treinados carecem de uma interface unificada para tratar símbolos nativos de máquina como unidades generativas de primeira classe ao lado de tokens de linguagem natural.

Metodologia: O Framework UniLang

O UniLang propõe um framework generativo unificado que estende LLMs pré-treinados para modelar conjuntamente tokens de linguagem natural e símbolos nativos de máquina sob um único objetivo autorregressivo. O framework consiste em três componentes primários:

1. Construção de Representações Nativas de Máquina

O UniLang é agnóstico ao mecanismo de geração específico, mas utiliza Autoencoders Variacionais Quantizados Residualmente (RQ-VAE) neste trabalho.

Processo: Descrições textuais de itens (ex: títulos de filmes, contextos jurídicos) são codificadas em embeddings densos, que são então discretizados em uma sequência de códigos através de múltiplos níveis de quantização ( $l=3$ ).
Desambiguação: Um nível adicional é anexado para mitigar colisões de códigos.
Tokenização: Prefixos específicos de nível são prefixados a esses códigos para formar IDs Semânticos (SIDs) (ex: A11, B43). Esses SIDs, combinados com a linguagem natural, formam um vocabulário estendido onde os tokens de máquina funcionam como unidades generativas distintas.

2. Expansão de Vocabulário e Fundamentação Semântica

Para integrar esses novos tokens, o UniLang realiza um procedimento de fundamentação contrastiva (contrastive grounding):

Expansão de Vocabulário: O vocabulário do LLM pré-treinado é expandido com um conjunto fixo de tokens de máquina ( $V_{ML}$ ), inicializado com embeddings aprendíveis.
Alinhamento Contrastivo: Uma perda contrastiva (estilo InfoNCE) alinha o embedding de uma sequência de tokens de máquina ( $z^{ML}_i$ ) com o embedding de sua descrição textual correspondente em linguagem natural ( $z^{NL}_i$ ).
Restrição de Treinamento: Durante esta fase, apenas os embeddings dos tokens de máquina são atualizados; os parâmetros do LLM pré-treinado e os embeddings de linguagem natural permanecem congelados. Isso garante que os novos símbolos sejam fundamentados no espaço semântico existente do modelo sem esquecimento catastrófico.

3. Modelagem Autorregressiva Unificada

Uma vez fundamentados, o framework trata todos os tokens (linguagem natural e símbolos de máquina) de forma idêntica:

Objetivo Único: O modelo prevê o próximo token em uma sequência usando um objetivo autorregressivo padrão.
Agnosticismo de Tarefa: Não são necessárias alterações arquiteturais específicas para a tarefa. As tarefas são definidas pela construção de sequências de entrada-saída.
Geração Estruturada: As saídas são geradas de maneira campo a campo usando tokens delimitadores (ex: <ano>, <gênero>, <sid>). Por exemplo, em recomendação, o modelo gera campos de metadados seguidos pelo SID nativo de máquina, em vez de prever um ID bruto diretamente.

Principais Contribuições

Interface Representacional Unificada: O artigo formula a predição estruturada como geração autorregressiva tipada sobre tipos de tokens heterogêneos, permitindo que símbolos nativos de máquina funcionem como unidades de primeira classe dentro de um framework unificado que estende LLMs pré-treinados.
Integração Fundamentada: Introduz um procedimento de expansão de vocabulário e fundamentação contrastiva que mapeia símbolos nativos de máquina para o espaço de representação do LLM, permitindo a modelagem conjunta enquanto retém a estrutura discreta.
Generalidade entre Domínios: O framework é demonstrado em duas tarefas estruturalmente distintas — recomendação sequencial e predição de precedente jurídico — sem exigir modificações arquiteturais específicas para a tarefa.

Resultados Experimentais

Os autores avaliaram o UniLang em seis benchmarks do mundo real: três conjuntos de dados de recomendação sequencial (Amazon Beauty, MovieLens 1M, MovieLens 20M) e três divisões de predição de precedente jurídico (LePaRD 10k, 20k, 50k).

Recomendação Sequencial

Baselines: Comparado contra modelos discriminativos (SASRec, BERT4Rec, S3-Rec) e baselines generativos (P5, TIGER).
Performance: O UniLang superou consistentemente os fortes baselines. No conjunto de dados MovieLens-20M, alcançou uma melhoria de 114,96% em Recall@5 e uma melhoria de 151,73% em NDCG@5 em comparação com o melhor baseline (TIGER).
Estabilidade: A análise estatística em múltiplas execuções confirmou a estabilidade desses ganhos.

Predição de Precedente Jurídico

Baselines: Comparado contra métodos de recuperação (BM25, SBERT ajustado) e modelos de classificação (LEGAL-BERT, DistilBERT).
Performance: O UniLang superou significativamente todos os baselines. No LePaRD 10k, alcançou uma melhoria de 49,36% em Recall@1 sobre o melhor baseline (LEGAL-BERT).
Significância: Os resultados demonstram que o framework se generaliza para estruturas de problemas fundamentalmente diferentes (interação cronológica do usuário vs. recuperação semântica de passagens) usando a mesma abordagem de modelagem.

Estudos de Ablação

Experimentos de ablação no MovieLens-20M revelaram:

Contexto de Linguagem Natural: A remoção de campos de linguagem natural (NLRemoved) levou à degradação da performance e overfitting, indicando que a linguagem natural fornece um contexto de regularização essencial.
Estruturação: A remoção de delimitadores tipados (NoTypeDelim) reduziu a performance, destacando a importância da estruturação explícita para a otimização.
Fundamentação: O uso de embeddings inicializados aleatoriamente sem fundamentação contrastiva (NoWarmup) resultou em uma falha completa de aprendizado (métricas zero), provando que o pré-alinhamento dos símbolos ao espaço latente do LLM é crítico.

Significância e Alegações

O artigo afirma que o UniLang fornece uma interface geral para estender LLMs pré-treinados além da linguagem para modelar representações nativas de máquina heterogêneas.

Backbone Unificado: Demonstra que um framework generativo unificado pode substituir arquiteturas específicas de tarefas para diversos problemas de predição estruturada.
Escalabilidade: Ao contrário de sistemas que exigem tokens de usuário dedicados ou esquemas de hashing (que consomem um espaço significativo de vocabulário), o UniLang pode representar identificadores de usuário diretamente em linguagem natural, oferecendo melhor escalabilidade.
Eficiência: Ao tratar símbolos estruturados como tokens de primeira classe, o framework evita a ambiguidade representacional e a perda de informação associadas à verbalização de dados estruturados, enquanto ainda aproveita o rico conhecimento de mundo dos LLMs pré-treinados.

Os autores observam que, embora o framework se destaque na precisão preditiva, o impacto do ajuste fino simbólico na qualidade da geração de linguagem natural do modelo (fluência e coerência) permanece uma questão aberta para trabalhos futuros.