Resumo Técnico: Teto de Insolvabilidade em Roteamento Multi-LLM

Declaração do Problema

O roteamento eficiente em sistemas multi-LLM visa direcionar consultas ao modelo mais custo-efetivo capaz de resolvê-las, equilibrando custo, latência e qualidade. Uma suposição central que impulsiona este campo é a existência de um "teto de insolvabilidade" recuperável: uma fração não trivial de consultas que modelos mais baratos não conseguem resolver, mas modelos maiores e mais capazes conseguem. No entanto, estimativas anteriores dessa margem dependem fortemente de métricas de avaliação que podem confundir limitações genuínas do modelo com artefatos sistemáticos. Este artigo investiga se a margem de roteamento relatada reflete capacidades fundamentais do modelo ou é inflada por artefatos de avaliação, focando especificamente na confiabilidade da pontuação "LLM como juiz" e nos protocolos de inferência com orçamento fixo.

Metodologia

Os autores conduziram um estudo empírico em grande escala envolvendo 206.756 pares consulta-modelo em seis benchmarks diversos (MMLU, MedQA, HumanEval, MBPP, Alpaca, ShareGPT) e quatro níveis de inferência da família Gemma 4 (E2B, E4B, 26B-A4B, 31B). O estudo utilizou infraestrutura H100 auto-hospedada com decodificação gulosa e modos de raciocínio desativados.

A inovação metodológica central é um framework de validação de dupla avaliação combinado com um framework de decomposição de artefatos:

1. Validação de Dupla Avaliação: Para benchmarks com rótulos de ouro verificáveis (MMLU, MedQA), os autores compararam pontuações de um juiz LLM primário (Gemma 4-26B-A4B) com a precisão de correspondência exata (EM). Isso permitiu distinguir entre falhas genuínas do modelo e discrepâncias de avaliação.
2. Decomposição de Artefatos: Casos discordantes entre o juiz LLM e a correspondência exata foram categorizados em três tipos específicos de artefato:
   • Desalinhamento de Avaliação: Divergência sistemática onde o juiz recompensa fluência/raciocínio sobre a correção da resposta terminal (ou vice-versa).
   • Truncamento: Respostas cortadas por orçamentos fixos de tokens, levando a baixas pontuações e falhas de análise.
   • Incompatibilidade de Formato de Saída: Falhas de análise onde modelos fornecem respostas corretas em formatos não extraíveis.
3. Treinamento de Roteador e Experimentos de Controle: Os autores treinaram três variantes de roteador (Regressão Logística, MLP, DistilBERT) em rótulos de oráculo derivados de pontuações de juízes. Eles empregaram controles de recursos aleatórios e rótulos embaralhados para isolar a causa do colapso do modelo de roteamento.
4. Validação Cross-Família: Para testar a universalidade das descobertas, eles executaram um subconjunto de consultas através de modelos Llama 3.1 (8B e 70B) e DeepSeek-Chat.

Contribuições Principais

1. Framework de Decomposição de Artefatos: Um método sistemático para identificar e quantificar três fontes de insolvabilidade inflada: desalinhamento de avaliação, truncamento e incompatibilidade de formato.
2. Metodologia de Validação de Dupla Avaliação: Um protocolo que emparelha "LLM como juiz" com fundamentação de correspondência exata para diagnosticar artefatos de avaliação.
3. Análise de Teto Cross-Família: Evidências mostrando que os tetos de insolvabilidade são específicos da família de modelos para tarefas de conhecimento, mas quase universais para tarefas conversacionais.
4. Caracterização do Colapso de Roteamento: Uma demonstração de que roteadores padrão treinados em rótulos de oráculo desbalanceados colapsam para previsão da classe majoritária, com a causa confirmada por experimentos controlados.
5. Recomendações Acionáveis: Protocolos para avaliação e treinamento robustos, incluindo validação de dupla avaliação e objetivos sensíveis a custos.

Resultados Principais

1. Artefatos de Avaliação Inflam a Insolvabilidade

O estudo encontrou que uma parte substancial das consultas relatadas como "insolúveis" decorre de artefatos e não de limitações do modelo:

• Desalinhamento de Avaliação: No MMLU, o juiz LLM desvalorizou sistematicamente respostas corretas (atribuindo pontuações < 2) em 10–24 pontos percentuais (pp) em comparação com a correspondência exata, particularmente para modelos maiores. Por outro lado, no MedQA, o juiz supervalorizou modelos grandes em 5–6 pp, recompensando prosa médica mesmo quando a letra da resposta final estava incorreta.
• Truncamento: Orçamentos de geração fixos causaram altas taxas de truncamento (65% para MMLU, 57% para MedQA), inflando artificialmente a insolvabilidade.
• Incompatibilidade de Formato: Falhas de análise variaram de 5,4% a 12,4% no MMLU, afetando desproporcionalmente os níveis menores e comprimindo o gradiente de qualidade medido.

2. Ganhos de Roteamento Corrigidos

Ao corrigir esses artefatos, o ganho de roteamento estimado muda significativamente:

• MMLU: O ganho de roteamento verificado por correspondência exata (E2B para 31B) foi de 28,9 pp, que é 13 pp maior do que o ganho relatado pelo juiz de 15,9 pp.
• MedQA: O ganho verificado por correspondência exata foi de 40,4 pp, que é 10,3 pp menor do que o ganho relatado pelo juiz de 50,7 pp.
• Custo de Oportunidade: A distorção combinada leva a um custo de oportunidade de 13–17 pp no desempenho de roteamento em benchmarks intensivos em conhecimento.

3. Colapso de Roteamento

Roteadores treinados em rótulos de oráculo derivados de juízes exibiram colapso de roteamento severo:

• Todas as três variantes de roteador colapsaram para prever a classe majoritária (E2B) para ~79,3% das consultas, alcançando recall quase nulo para níveis superiores.
• Experimentos de Controle: Controles de recursos aleatórios e rótulos embaralhados reproduziram exatamente esse colapso, confirmando que é impulsionado inteiramente pelo desequilíbrio marginal de rótulos e não pela qualidade dos recursos ou falha no treinamento.
• Mudança de Distribuição: A precisão do roteador caiu 39,5 pp ao passar de dados in-distribution (Alpaca) para dados out-of-distribution (MedQA).

4. Especificidade da Família de Modelos

• Tarefas de Conhecimento: O teto de insolvabilidade é específico da família de modelos. O Llama-3.1-70B alcançou 81,0% no MMLU, superando significativamente a pontuação derivada do juiz do Gemma-4-31B (58,3%), sugerindo que o "teto" não é absoluto, mas dependente do conjunto de modelos.
• Tarefas de Código: O teto é quase universal; tanto Gemma-4 quanto Llama-3.1 alcançaram ~98,8% no HumanEval e MBPP.
• Tarefas Conversacionais: Consultas insolúveis são específicas ao nível da consulta e agnósticas à família, com todos os modelos agrupando-se em taxas de sucesso de 47–59%.

Significado e Alegações

O artigo alega que as estimativas existentes de margem de roteamento estão substancialmente infladas devido a artefatos de avaliação. O "teto de insolvabilidade" não é uma propriedade fixa do espaço de problemas, mas é fortemente distorcido por:

1. Desacordo de Métricas: Juízes LLM operacionalizam "correção" de forma diferente da correspondência exata (por exemplo, priorizando raciocínio sobre a resposta final), levando a dados de oráculo mal rotulados.
2. Restrições de Infraestrutura: Orçamentos fixos de tokens e falhas de análise suprimem artificialmente o desempenho de modelos menores.

Os autores argumentam que confiar exclusivamente em "LLM como juiz" para a construção de oráculos de roteamento leva ao sub-rotulagem sistemática de consultas que se beneficiam de modelos maiores (no MMLU) ou à superestimação do valor do roteamento (no MedQA). Isso resulta em roteadores que falham em aprender a distribuição real de dificuldade, colapsando para o modelo mais barato e incorrendo em um custo de oportunidade significativo.

O artigo conclui que o roteamento multi-LLM confiável requer validação de dupla avaliação, fundamentação por correspondência exata onde existem rótulos de ouro, orçamentos conscientes de truncamento e objetivos de treinamento sensíveis a custos para mitigar o desequilíbrio de rótulos. Esses protocolos são apresentados como o padrão mínimo para avaliar e treinar sistemas de roteamento, garantindo que os ganhos relatados sejam genuínos e não artefatos do pipeline de avaliação.