🤖 AI

Privacy-Preserving LLMs Routing

O artigo apresenta o PPRoute, um framework de roteamento de modelos de linguagem grandes (LLMs) que preserva a privacidade ao utilizar computação multipartidária segura (MPC) com otimizações específicas para acelerar a inferência e a busca, garantindo desempenho equivalente ao de implementações em texto claro e uma aceleração de 20 vezes em relação a abordagens ingênuas.

Autores originais: Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

Publicado 2026-04-20

📖 4 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente pessoal superinteligente (um Modelo de Linguagem Grande, ou LLM) que pode responder a qualquer pergunta. O problema é que esses assistentes são como carros de Fórmula 1: incríveis, mas caríssimos de manter e lentos para tarefas simples. Por outro lado, você tem "bicicletas" (modelos menores) que são rápidas e baratas, mas não conseguem resolver problemas complexos.

A Roteamento de LLMs é como um gerente de tráfego que decide: "Para esta pergunta simples, use a bicicleta. Para aquela pergunta difícil, use o carro de Fórmula 1." Isso economiza dinheiro e tempo.

O Problema: O Risco de Privacidade
Até agora, esse "gerente de tráfego" funcionava de forma insegura. Para decidir qual modelo usar, ele precisava ler sua pergunta inteira e, muitas vezes, era um terceiro (uma empresa externa) quem fazia essa escolha. Isso é como entregar sua carta secreta para um carteiro ler antes de decidir qual veículo usará para entregá-la. Se o carteiro for desonesto ou for hackeado, seus segredos vazam.

A Solução: O PPRoute (O Gerente de Tráfego com Capa Invisível)
Os autores deste paper criaram o PPRoute. Pense nele como um sistema onde o gerente de tráfego toma decisões usando óculos de visão noturna e luvas de mágica. Ele consegue ver o que precisa para tomar a decisão, mas ninguém (nem ele, nem os servidores) consegue ver o conteúdo real da sua pergunta.

Aqui está como eles fizeram isso, usando analogias do dia a dia:

1. Trocando o Motor Pesado por um Esportivo Leve (Inferência do Codificador)

Para decidir qual modelo usar, o sistema precisa transformar sua pergunta em um "mapa" (vetor). O processo original era como tentar dirigir um caminhão de carga gigante por uma estrada de terra estreita (computação criptografada). Era lento e custoso.

O Truque: Eles trocaram as peças pesadas do caminhão (funções matemáticas complexas como Softmax e GeLU) por peças leves e rápidas (2ReLU e ReLU) que funcionam perfeitamente na estrada estreita.
Resultado: O caminhão agora é um carro esportivo ágil. O processo fica 20 vezes mais rápido, mas ainda chega ao mesmo destino com a mesma qualidade.

2. O Treinamento "Mestre e Aprendiz" (Algoritmo de Treinamento)

Como você pode treinar um sistema para ser rápido se você trocou as peças do motor?

A Analogia: Imagine um Mestre Chef (o modelo original, lento mas preciso) e um Aprendiz (o modelo novo, rápido com peças trocadas).
O Processo: Primeiro, o Mestre ensina o Aprendiz a cozinhar pratos deliciosos. Depois, o Aprendiz pratica usando suas próprias panelas (as peças rápidas), mas sempre tentando imitar o sabor do Mestre.
Resultado: O Aprendiz fica tão bom quanto o Mestre, mas cozinha muito mais rápido. Isso garante que a qualidade da decisão não caia, mesmo com as mudanças técnicas.

3. A Busca sem a "Peneira" Lenta (Algoritmo Top-k Não Ordenado)

No final, o sistema precisa escolher o melhor modelo entre uma lista de 10 ou 20 opções. Fazer isso de forma segura (criptografada) normalmente é como tentar encontrar uma agulha em um palheiro, mas onde você só pode tocar nas agulhas com luvas grossas e demora horas para comparar cada uma.

O Truque: Em vez de comparar uma por uma (o que demora muito), eles criaram um método onde todos os candidatos são comparados ao mesmo tempo, como se você jogasse todos os palheiros no chão e, com um único movimento mágico, as agulhas certas saltassem para cima.
Resultado: Eles reduziram o tempo de comunicação entre os computadores para um valor constante (quase instantâneo), eliminando o gargalo que deixava o sistema lento.

Por que isso importa?

O PPRoute é como um cofre à prova de balas que também é rápido como um raio.

Antes: Você tinha que escolher entre Privacidade (usar criptografia, mas ficar esperando horas) ou Velocidade (ser rápido, mas arriscar seus dados).
Agora: Com o PPRoute, você tem os dois. Você pode usar o melhor modelo de IA para sua pergunta sem que ninguém saiba o que você perguntou, sem pagar caro e sem esperar.

Em resumo: Os autores criaram um sistema que permite que empresas e usuários usem a inteligência de várias IAs de forma segura, rápida e barata, protegendo seus segredos como se estivessem em um cofre, mas com a agilidade de um aplicativo de celular comum.

1. O Problema

O routing (roteamento) de Grandes Modelos de Linguagem (LLMs) tornou-se uma estratégia crucial para equilibrar o desempenho do modelo e a eficiência de custos, selecionando dinamicamente serviços de diferentes provedores com base na complexidade da consulta do usuário. No entanto, essa arquitetura introduz uma camada intermediária que gera novos riscos de privacidade:

Vazamento de Dados: A integração de uma etapa de roteamento pode expor consultas de usuários sensíveis dentro do pipeline de inferência.
Terceirização: O roteamento é frequentemente gerenciado por terceiros, complicando a cadeia de controle de dados sensíveis.
Limitações da Criptografia Existente: Embora a Computação Multipartidária Segura (MPC) permita cálculos sobre dados criptografados, sua aplicação direta no roteamento de LLMs resulta em uma sobrecarga computacional proibitiva. Operações não lineares (como Softmax e GeLU) e protocolos de comparação intensivos para busca de vizinhos mais próximos (KNN) tornam a inferência em MPC extremamente lenta (ex: 60x mais lenta que em texto claro).

2. Metodologia (PPRoute)

Os autores propõem o PPRoute, um framework de roteamento de LLMs que preserva a privacidade sem sacrificar a eficácia do roteamento ou a velocidade de execução. O sistema baseia-se em roteamento baseado em embeddings e utiliza três estratégias principais para otimizar a execução sob MPC:

A. Operações Amigáveis ao MPC (MPC-friendly Operations)

Para reduzir a latência na inferência do codificador (encoder), o PPRoute substitui funções matemáticas complexas e custosas em MPC por aproximações mais simples:

Substituição do Softmax: O Softmax (que envolve exponenciais caras) é substituído por uma aproximação chamada "2ReLU", definida como $ReLU(x) / \sum ReLU(x)$ .
Substituição do GeLU: A ativação Gaussian Error Linear Unit (GeLU), que requer expansões de Taylor complexas, é substituída pela função ReLU simples.
Essas substituições mantêm a estrutura do modelo, mas eliminam gargalos de comunicação e computação no ambiente criptografado.

B. Algoritmo de Treinamento em Múltiplos Estágios

Como as substituições acima alteram a arquitetura do modelo pré-treinado, o PPRoute utiliza uma técnica de Distilação de Conhecimento para manter a qualidade do roteamento:

Modelo Professor: Um modelo original (com Softmax e GeLU) é treinado em texto claro.
Modelo Estudante: Um modelo com o "encoder aproximado" (usando 2ReLU e ReLU) é treinado para imitar o professor.
Função de Perda Híbrida: O treinamento combina a perda de roteamento ( $L_{routing}$ ) com uma perda de distilação ( $L_{distill}$ ), garantindo que o estudante aprenda a mapear consultas corretamente mesmo com as operações simplificadas. Todo o treinamento ocorre em texto claro; apenas a inferência ocorre sob MPC.

C. Algoritmo "Unsorted Top-k" para Busca Segura

A busca por vizinhos mais próximos (KNN) em MPC tradicionalmente exige muitas rodadas de comunicação para ordenação e comparação. O PPRoute introduz um algoritmo inovador:

Conceito: Em vez de ordenar completamente a lista de modelos, o algoritmo transforma o problema em operações de matriz altamente paralelizáveis.
Mecanismo: Cria-se uma matriz de comparação binária entre o embedding da consulta e os embeddings dos modelos. A pontuação de cada modelo é a soma das colunas dessa matriz (quantas vezes ele foi "maior" que os outros).
Complexidade: Isso permite selecionar os $k$ melhores candidatos com complexidade de comunicação $O(1)$ (rodadas constantes), independentemente do tamanho do conjunto de dados, desde que o pool de modelos seja de tamanho limitado (comum em roteamento).

3. Principais Contribuições

Primeiro Estudo Sistemático: É o primeiro trabalho a investigar sistematicamente os riscos de privacidade no roteamento de LLMs e propor um framework end-to-end (PPRoute) para mitigá-los.
Otimização de Encoder: Desenvolvimento de operações "2ReLU" e uso de ReLU para acelerar a inferência de encoders Transformer sob MPC.
Algoritmo de Busca Eficiente: Introdução do algoritmo "Unsorted Top-k" com complexidade de comunicação constante, eliminando o gargalo da ordenação segura.
Generalização: O framework foi validado em duas abordagens de roteamento existentes: CSCR (baseada em similaridade de custo e embedding) e UniRoute (baseada em agrupamento/clustering).

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados (EmbedLLM, MixInstruct, RouterBench) utilizando o framework CrypTen para simular o ambiente MPC.

Aceleração de Velocidade: O PPRoute alcançou um aceleração de aproximadamente 20x em comparação com implementações ingênuas de MPC (sem otimizações).
- Exemplo: No dataset embedllm, o tempo caiu de ~199s (baseline) para ~9.38s (otimizado).
Qualidade do Roteamento: O desempenho do PPRoute foi comparável às contrapartes em texto claro (plaintext).
- Métricas como AUDC (Área sob a Curva de Adiamento), QNC (Custo Normalizado por Consulta) e Peak Accuracy mostraram diferenças mínimas entre o modelo original e o PPRoute.
- O sistema conseguiu equilibrar desempenho e custo de inferência mantendo a privacidade.
Eficiência da Busca: O algoritmo "Unsorted Top-k" superou significativamente métodos de ordenação cega (como Bitonic Sort e DB Bubble) e abordagens de força bruta, reduzindo o tempo total de busca de mais de 10 segundos para menos de 0.25 segundos no cenário testado.

5. Significado e Impacto

O trabalho preenche uma lacuna crítica na segurança de sistemas de IA generativa. Ao demonstrar que é possível realizar roteamento de LLMs com privacidade garantida (via MPC) e com latência aceitável, o PPRoute permite:

Adoção Segura: Empresas e instituições (saúde, finanças) podem utilizar roteamento dinâmico de LLMs sem expor dados confidenciais de usuários a terceiros.
Viabilidade Prática: Remove a barreira de "custo computacional proibitivo" que impedia o uso de criptografia em pipelines de inferência de LLM em tempo real.
Futuro da Privacidade: Estabelece um novo padrão para a integração de técnicas criptográficas avançadas em sistemas de aprendizado de máquina de grande escala, promovendo o desenvolvimento de sistemas de IA mais seguros e éticos.