🤖 AI

LLM-Rosetta: A Hub-and-Spoke Intermediate Representation for Cross-Provider LLM API Translation

O artigo apresenta o LLM-Rosetta, um framework de código aberto que utiliza uma representação intermediária centralizada em formato "hub-and-spoke" para traduzir bidirecionalmente e sem perdas as APIs de diversos provedores de Grandes Modelos de Linguagem (LLM), resolvendo a fragmentação do ecossistema e permitindo portabilidade com sobrecarga mínima.

Autores originais: Peng Ding

Publicado 2026-04-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Peng Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que o mundo das Inteligências Artificiais (IA) é como um mundo de turistas falando línguas diferentes.

Você tem o "OpenAI" falando inglês, o "Anthropic" falando francês, o "Google" falando alemão e o "Google Responses" falando uma nova variante de alemão. Se você quiser construir um aplicativo que use essas IAs, você teria que contratar um tradutor para cada par de idiomas possível. Se houver 4 idiomas, você precisa de 6 tradutores diferentes. Se houver 10 idiomas, o número de tradutores explode. Isso é caro, confuso e difícil de manter.

É aqui que entra o LLM-Rosetta.

O Problema: A Torre de Babel das IAs

Hoje, cada fornecedor de IA (como OpenAI, Anthropic, Google) criou seu próprio "formato de pedido" e "formato de resposta". É como se cada restaurante tivesse seu próprio cardápio, sua própria forma de pedir comida e sua própria maneira de entregar o prato.

Se você quer pedir um hambúrguer no "Restaurante OpenAI", você usa um formulário A.
Se quer pedir no "Restaurante Anthropic", precisa usar o formulário B.
Se quiser trocar de restaurante no meio do caminho, você precisa reescrever todo o pedido do zero.

Os desenvolvedores de software ficam presos nisso, gastando tempo criando "pontes" manuais entre cada par de IAs.

A Solução: O "Hub-and-Spoke" (O Centro de Tradução Universal)

Os autores do papel propuseram uma ideia brilhante: criar uma "Língua Franca" universal, um formato intermediário que todos possam entender.

Pense no LLM-Rosetta como um grande aeroporto internacional (o Hub) no meio de um continente.

O Voo de Entrada (Spoke): Em vez de ter voos diretos entre todas as cidades (o que seria caótico), todos os voos vão primeiro para o aeroporto central.
A Tradução: No aeroporto, há um sistema que pega a bagagem do passageiro que veio de Paris (Anthropic), a coloca em um carrinho padrão (o formato intermediário), e depois a coloca em um novo carrinho para o passageiro que vai para Nova York (OpenAI).
O Voo de Saída: O passageiro sai como se tivesse viajado direto, mas na verdade, ele passou pelo centro.

Como funciona a "Língua Franca" (A Representação Intermediária)?

O papel descreve que, apesar de as IAs usarem palavras diferentes e estruturas diferentes, elas todas falam a mesma "essência".

Todas têm mensagens (quem falou o quê).
Todas têm conteúdo (texto, imagens, arquivos).
Todas têm ferramentas (capacidade de calcular ou buscar dados).
Todas têm pensamento (o raciocínio da IA antes de responder).

O LLM-Rosetta criou um "dicionário universal" com apenas 9 tipos de peças de conteúdo e 10 tipos de eventos de streaming (para quando a resposta vem aos poucos, como uma legenda de filme).

Se o Anthropic diz "pensamento", o Rosetta entende como "Raciocínio".
Se o Google diz "partes", o Rosetta entende como "Conteúdo".
Se o OpenAI diz "delta", o Rosetta entende como "Fragmento de texto".

A Mágica da Engenharia (Arquitetura Modular)

O que torna isso incrível é como foi construído. Em vez de fazer um tradutor gigante e confuso, eles usaram blocos de construção separados (chamados de "Ops"):

Um bloco só cuida de texto e imagens.
Outro bloco cuida de mensagens (quem é o usuário, quem é a IA).
Outro cuida de ferramentas.
Outro cuida de configurações (temperatura, velocidade).

Isso significa que, se amanhã surgir uma nova IA, você não precisa reescrever tudo. Você só precisa criar um novo "adaptador" que conecte essa nova IA aos blocos existentes. É como trocar de tomada em uma parede: você não precisa reconstruir a casa inteira.

Por que isso é importante?

Liberdade: Você pode mudar de fornecedor de IA sem reescrever seu aplicativo. Se o OpenAI ficar caro, você muda para o Anthropic com um clique.
Velocidade: O sistema é super rápido. A tradução acontece em microssegundos (menos de 0,0001 segundos). É tão rápido que você nem percebe que passou pelo "aeroporto".
Precisão: O sistema foi testado milhares de vezes e garante que nada seja perdido na tradução. Se você enviar uma imagem complexa, ela chega lá intacta.
Uso Real: Isso já está sendo usado no Laboratório Nacional de Argonne (uma instituição de pesquisa gigante nos EUA) para conectar cientistas a várias IAs diferentes ao mesmo tempo.

Resumo em uma Analogia Final

Imagine que você quer enviar uma carta para amigos em 4 países diferentes.

Sem o Rosetta: Você teria que escrever a carta 6 vezes, cada uma em um formato diferente, usando envelopes diferentes e selos diferentes.
Com o Rosetta: Você escreve a carta uma única vez em um "idioma universal". Um robô inteligente pega sua carta, coloca no envelope do amigo da França, depois no do amigo dos EUA, e assim por diante. O amigo recebe a carta no formato que ele espera, sem saber que você não escreveu ela diretamente para ele.

O LLM-Rosetta é esse robô inteligente. Ele resolve o caos das IAs, permitindo que desenvolvedores construam coisas melhores, mais rápido e sem se preocupar com a "língua" que cada IA está falando.

Resumo Técnico: LLM-Rosetta

1. O Problema: Fragmentação e o Custo Combinatório

O ecossistema de Grandes Modelos de Linguagem (LLMs) tornou-se altamente fragmentado. Cada provedor principal (OpenAI, Anthropic, Google, etc.) expõe suas próprias APIs proprietárias com formatos de "wire" (dados de transmissão) distintos.

Divergência Sintática vs. Semântica: Embora as APIs compartilhem um núcleo semântico comum (mensagens, chamadas de ferramentas, controle de geração), elas diferem drasticamente na sintaxe (nomenclatura de campos, profundidade de aninhamento, codificação de conteúdo).
O Problema $O(N^2)$ : Para conectar $N$ provedores entre si de forma direta, seria necessário criar $\binom{N}{2}$ adaptadores bilaterais. Cada adaptador precisaria lidar com a construção de requisições, parsing de respostas, mapeamento de eventos de streaming e serialização de chamadas de ferramentas. À medida que as APIs evoluem, essa manutenção torna-se insustentável, travando aplicações em fornecedores específicos ou exigindo wrappers pesados que não resolvem o problema de incompatibilidade de formato subjacente.

2. Metodologia: Representação Intermediária (IR) em Estrela (Hub-and-Spoke)

O LLM-Rosetta propõe uma arquitetura baseada no padrão Hub-and-Spoke (Cubo e Raio), inspirada em infraestruturas de compiladores (como LLVM) e intercâmbio de dados.

Representação Intermediária (IR) Neutra: Em vez de mapear diretamente de Provedor A para Provedor B, todas as conversões passam por uma IR centralizada e neutra. Isso reduz a complexidade de $O(N^2)$ para $O(N)$ .
Modelo de Dados da IR:
- 9 Tipos de Conteúdo: Define unidades atômicas como TextPart, ImagePart, AudioPart, ToolCallPart, ReasoningPart (pensamento), RefusalPart, etc.
- 10 Tipos de Eventos de Streaming: Normaliza eventos de fluxo (SSE) em categorias como stream_start, content_block_start, text_delta, tool_call_delta, finish, etc.
- Estrutura: A IR é composta por módulos tipados para Conteúdo, Mensagens, Ferramentas, Configuração de Geração, Requisições, Respostas e Eventos de Stream.
Arquitetura de Conversão por Composição de Ops:
- Em vez de classes monolíticas, cada conversor de provedor é montado a partir de quatro módulos ortogonais independentes:
  1. ContentOps: Converte partes individuais de conteúdo.
  2. MessageOps: Gerencia sequências de mensagens e mapeamento de papéis (roles).
  3. ToolOps: Trata definições e escolhas de ferramentas.
  4. ConfigOps: Mapeia parâmetros de geração (temperatura, top-p, etc.).
- Isso permite que novos provedores sejam adicionados implementando apenas os quatro módulos específicos, sem alterar a IR ou outros conversores.

3. Principais Contribuições

Caracterização Empírica: Demonstra que a divergência entre os quatro principais provedores é predominantemente sintática, permitindo um núcleo semântico unificado capturado por uma IR compacta.
Conversão Bidirecional com Streaming: Suporta tradução completa de requisição e resposta (Provedor $\leftrightarrow$ IR $\leftrightarrow$ Provedor), incluindo streaming em nível de "chunk" com gerenciamento de contexto stateful para garantir a ordem correta dos eventos.
Modularidade e Extensibilidade: A arquitetura de "Ops" permite que novos provedores sejam integrados com esforço independente dos existentes.
Implementação e Validação: Um framework open-source (Python) com 1.364 testes, cobrindo OpenAI Chat, OpenAI Responses, Anthropic Messages e Google GenAI.

4. Resultados e Avaliação

O artigo apresenta uma avaliação empírica rigorosa focada em fidelidade, correção de streaming e desempenho.

Fidelidade de Ida e Volta (Round-Trip):
- Em modo "Preserve" (preservação de metadados), a conversão é lossless (sem perdas), garantindo que fromA(toA(x)) seja estruturalmente igual a x.
- Em modo "Strip" (remoção de metadados), garante equivalência semântica, descartando apenas anotações internas do provedor.
- Passou em todos os 6 testes da suíte de conformidade "Open Responses".
Correção de Streaming:
- Os conversores lidam corretamente com diferenças fundamentais nos esquemas de eventos (ex: Anthropic usa eventos de blocos explícitos, OpenAI usa deltas implícitos, Google usa partes acumuladas).
- O contexto de streaming (StreamContext) gerencia ordenação e buffers de argumentos de ferramentas, garantindo que eventos cheguem na ordem correta ao cliente final.
Desempenho (Overhead):
- A latência de conversão é extremamente baixa: sub-100 µs (microssegundos) para a maioria das cargas.
- Requisições simples levam ~21-24 µs; cargas complexas (multi-turno com ferramentas) levam ~71-77 µs.
- Comparado ao LiteLLM (que usa uma abordagem de "lingua franca" unidirecional baseada no formato OpenAI), o LLM-Rosetta é competitivo (até mais rápido em casos simples) e oferece bidirecionalidade e neutralidade, embora tenha um custo ligeiramente maior em cenários complexos devido à construção de objetos IR tipados.
Deploy em Produção: O sistema já está em uso no Argo-Proxy no Laboratório Nacional de Argonne, substituindo ~2.000 linhas de código de mapeamento manual e suportando acesso unificado a múltiplos provedores.

5. Significado e Impacto

O LLM-Rosetta resolve um problema crítico de interoperabilidade na era dos LLMs:

Portabilidade: Permite que aplicações mudem de provedor ou usem múltiplos provedores sem reescrever o código de integração ("glue code").
Abstração de Baixo Nível: Diferente de frameworks de aplicação (como LangChain) que abstraem a lógica de negócios, o Rosetta opera no nível de formato de API, permitindo tradução de payloads brutos sem impor um modelo de aplicação específico.
Solução para o Futuro: À medida que novos provedores surgem, a maioria adota um dos formatos existentes (OpenAI, Anthropic ou Google). A arquitetura de IR do Rosetta garante que novos provedores compatíveis possam ser integrados com esforço mínimo, evitando a explosão combinatória de adaptadores.
Neutralidade de Fornecedor: Ao não privilegiar o formato de nenhum provedor (diferente do LiteLLM que usa o formato OpenAI como padrão), o Rosetta preserva recursos específicos de cada provedor (como cache control da Anthropic ou metadados de grounding do Google) quando necessário, ou os descarta de forma controlada em traduções cruzadas.

Em suma, o LLM-Rosetta estabelece um padrão de interoperabilidade técnica para APIs de LLM, transformando um problema de complexidade quadrática em um problema linear através de uma representação intermediária semântica robusta e modular.