LLM Router: Prefill is All You Need

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente apresentam desempenhos comparáveis em benchmarks gerais, mas exibem forças e fraquezas complementares em subconjuntos específicos de tarefas. O roteamento de modelos (escolher qual LLM responder a uma consulta) é crucial para otimizar custos e precisão.

No entanto, os métodos atuais de roteamento enfrentam duas falhas fundamentais:

• Falta de interpretação mecânica: Os roteadores baseados em semântica (usando embeddings de consultas) ignoram os limites generativos intrínsecos dos modelos.
• Gap de complexidade semântica: A similaridade semântica de uma consulta não correlaciona diretamente com a dificuldade da tarefa para um modelo específico. Roteadores treinados apenas em representações semânticas falham em capturar sinais indicativos do comportamento real do modelo.
• Dependência de sinais frágeis: Abordagens existentes dependem de descrições de domínio ou intenções, que não refletem a "dificuldade intrínseca" que determina se um modelo específico falhará ou não.

2. Metodologia

Os autores propõem uma mudança de paradigma: em vez de analisar o texto da consulta, utilizam as atividades internas (hidden states) do pré-preenchimento (prefill) do modelo como sinal preditivo.

Arquitetura e Conceitos Chave:

• Decomposição Encoder-Target (Encoder-Target Decoupling): O sistema separa o modelo que fornece o sinal preditivo (Encoder) do modelo cujo desempenho está sendo estimado (Target).
  • Inovação: Demonstram que "encoders estrangeiros" (modelos open-source leves, como Qwen) podem prever o desempenho de modelos "targets" proprietários (como Claude ou GPT) com mais eficácia do que o próprio estado interno do target.
• Seleção de Camadas Baseada em Fisher: Em vez de assumir que a última camada é a melhor, utilizam métricas matemáticas para identificar a camada ótima:
  • Fisher Separability (J): Mede a separabilidade linear entre respostas corretas e incorretas.
  • Dimensionalidade Efetiva ($d_{eff}$): Avalia a distribuição de informação nas atividades.
  • A camada com maior $J$ é selecionada para extrair o sinal.
• SharedTrunkNet: Uma arquitetura de rede neural com múltiplas saídas (MLP) que recebe os vetores de características (reduzidos via PCA) de um encoder e gera simultaneamente estimativas de probabilidade de acerto ($P(\text{correct})$) para todos os modelos-alvo.
  • Vantagem: Otimização conjunta fornece contexto cruzado (sinais de um encoder ajudam a prever a dificuldade para outros modelos) e calibração inerente.
• Função de Roteamento: Combina a confiança predita e o custo estimado (baseado em tokens de entrada e saída) através de um parâmetro $\lambda$ para traçar a curva de trade-off precisão-custo.

3. Principais Contribuições

1. Decomposição Encoder-Target: Prova que encoders open-source pequenos podem prever o desempenho de modelos fechados grandes, permitindo roteamento para APIs proprietárias sem necessidade de acesso aos seus estados internos.
2. Seleção de Camadas via Fisher: Substitui heurísticas de "última camada" por uma seleção matemática baseada na separabilidade de Fisher, identificando a camada mais informativa para a tarefa.
3. SharedTrunkNet: Uma arquitetura unificada que avalia a dificuldade relativa de consultas comparando respostas simultâneas de múltiplos modelos, superando roteadores semânticos tradicionais.
4. Novo Framework de Avaliação: Introduz métricas como P-AUCCC (Área Preenchida sob a Curva de Cobertura de Custo) e Eficácia do Roteador, medindo o ganho em relação a um "Oracle" (seletor perfeito) e à fronteira de Pareto de seleção estática de modelos.

4. Resultados

O trabalho foi avaliado em três pools de modelos: Frontier (modelos de ponta, ex: GPT-5, Claude), Small (modelos leves 7B-9B) e Mixed (mistura de ambos).

• Desempenho de Precisão: O SharedTrunkNet superou consistentemente todos os backbones semânticos (baseados em embeddings e texto) e a seleção estática de modelos.
  • No pool Frontier, o roteador capturou 45,58% da lacuna de precisão entre o melhor modelo standalone e o Oracle teórico.
  • No pool Small, capturou 20,4% dessa lacuna.
• Economia de Custos:
  • O sistema alcançou 74,31% de economia de custos em relação ao modelo mais caro do pool Frontier, mantendo alta precisão.
  • No pool Mixed, economizou 29,3% dos custos.
• Métricas Globais:
  • P-AUCCC: O SharedTrunkNet obteve o maior valor (0,4377 no Frontier), indicando melhor cobertura da curva de eficiência.
  • Eficácia: Redução de 53,62% na distância média para o Oracle em comparação com a fronteira de Pareto de modelos apenas.
• Validação do Encoder: O encoder Qwen3.5-122B demonstrou ser o preditor mais robusto, superando até mesmo os estados internos dos próprios modelos-alvo em muitos casos.

5. Significado e Impacto

Este trabalho estabelece um novo paradigma para a orquestração de LLMs, movendo-se de sinais semânticos superficiais para uma abordagem mecânica baseada na geometria de ativação.

• Viabilidade Técnica: Demonstra que é possível rotear para APIs proprietárias caras usando apenas a ativação de pré-preenchimento de modelos open-source leves, reduzindo a dependência de acesso direto aos modelos-alvo para inferência de roteamento.
• Eficiência Operacional: Oferece uma solução prática para cumprir SLAs (Acordos de Nível de Serviço) rigorosos de custo, permitindo que sistemas de IA selecionem dinamicamente o modelo mais barato que ainda tem alta probabilidade de sucesso.
• Fundamentação Teórica: A validação matemática através da Separabilidade de Fisher e Dimensionalidade Efetiva fornece uma base teórica sólida para entender onde e como os modelos codificam a informação sobre sua própria capacidade de resposta, abrindo caminho para sistemas colaborativos de LLMs mais inteligentes e econômicos.

Em resumo, o artigo prova que "Prefill is All You Need": as atividades internas iniciais do modelo contêm informações suficientes e superiores para prever o desempenho, eliminando a necessidade de geração completa ou análise semântica complexa para o roteamento.