Resumo Técnico: LatentRouter

Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) exibem heterogeneidade significativa em suas forças em tarefas como Reconhecimento Óptico de Caracteres (OCR), compreensão de gráficos, raciocínio espacial e resposta a perguntas visuais (VQA), bem como em seus custos operacionais e latências. Embora um desempenho médio "superior" não implique que um único modelo seja universalmente ótimo, o roteamento eficaz exige o alinhamento de requisitos específicos de consultas multimodais (por exemplo, texto denso versus layout de diagrama) com as capacidades dos modelos candidatos.

As abordagens de roteamento existentes para sistemas Multi-LLM são predominantemente projetadas para entradas apenas de texto, dependendo de estimativas de dificuldade da consulta, pontuações de confiança ou políticas em cascata. Esses métodos frequentemente falham no domínio multimodal porque a escolha ótima do modelo depende de sinais visuais, sensibilidade ao layout e interações imagem-pergunta que não podem ser totalmente capturadas apenas por características derivadas de texto. A conversão de imagens em texto explícito (por exemplo, legendas, OCR) é custosa, incompleta e frequentemente insuficiente para informações visuais relevantes ao roteamento. Consequentemente, o roteamento de MLLM enfrenta dois desafios acoplados: preservar sinais de roteamento multimodal compactos, porém informativos, a partir da entrada e alinhar esses requisitos de consulta com capacidades de modelos heterogêneos para prever a utilidade.

Metodologia: LATENTROUTER

Os autores propõem o LATENTROUTER, um roteador que formula o roteamento de MLLM como previsão de utilidade multimodal contrafactual. Em vez de mapear diretamente uma consulta para um ID de modelo fixo, o roteador estima como cada MLLM candidato se sairia na entrada atual de imagem-pergunta e seleciona o modelo com a utilidade prevista mais alta.

Arquitetura Central

O sistema consiste em cinco componentes-chave:

1. Cápsulas de Roteamento Multimodal:
   Em vez de usar um único vetor de consulta agrupado, o LATENTROUTER representa a consulta como um pequeno conjunto de cápsulas de roteamento multimodal aprendidas ($R(x)$). Estas são extraídas ao fazer com que consultas de cápsulas aprendidas realizem atenção cruzada sobre a sequência conjunta imagem-pergunta. Elas são treinadas de ponta a ponta para reter apenas as informações necessárias para prever qual modelo candidato se sairá bem.

2. Tokens de Capacidade do Modelo:
   Cada MLLM candidato é representado por um token de capacidade ($a_i$) construído a partir de metadados, incluindo perfis de calibração, custo normalizado, latência e estatísticas de comportamento em nível de fatia ou pares. Isso permite que o roteador lide com pools de modelos variáveis sem uma dimensão de classificador fixa.

3. Comunicação Latente:
   O roteador alinha os requisitos da consulta com as capacidades do modelo por meio de um processo de comunicação latente em várias etapas:

   • Atenção Condicionada ao Modelo: Cada token de modelo lê as cápsulas de roteamento, permitindo que diferentes modelos atendam a sinais diferentes (por exemplo, texto visual versus pistas espaciais).
   • Comparação Pares: Os tokens de modelo interagem por meio de atenção própria mascarada por disponibilidade com vieses de comparação par a par para avaliar forças relativas.
   • Feedback: As cápsulas de roteamento recebem feedback ponderado dos estados do modelo, enfatizando candidatos próximos à fronteira de decisão para refinar a representação da consulta.

4. Previsão de Resultado Contrafactual Distribucional:
   Um cabeçalho compartilhado prevê uma distribuição (média $\mu_i$ e incerteza $\sigma_i$) sobre a qualidade da resposta para cada modelo candidato. Essa abordagem distribucional aproveita o vetor completo de resultados observados das trilhas de treinamento para modelar forças e fraquezas relativas.

5. Correção de Cápsula Limitada:
   Um termo de correção residual ($\Delta^{cap}_i$) é adicionado à média prevista. Essa correção é limitada por um escalar $\rho$ (usando uma ativação $\tanh$), garantindo que refine decisões próximas sem permitir que sinais residuais ruidosos dominem previsões base confiantes.

Treinamento e Política

O roteador é treinado em trilhas de resultados de pools de modelos usando uma função de perda composta:

• Perda Distribucional: Verossimilhança negativa de Gaussiana heterocedástica para prever média e incerteza.
• Perda de Classificação Pares: Incentiva pontuações mais altas para modelos com utilidade observada mais alta.
• Perda Listwise: Ajusta a distribuição de utilidade prevista à distribuição observada.
• Regressão de Utilidade e Regularização: Regressão direta de utilidade e regularização residual.

A política de roteamento final seleciona o modelo $m_i$ que maximiza $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$, onde $\lambda$ controla o compromisso entre desempenho e custo. Modelos indisponíveis são mascarados durante a pontuação.

Contribuições Principais

1. Formulação de Utilidade Contrafactual: O artigo reformula o roteamento de MLLM como a previsão do resultado de cada modelo candidato na mesma consulta, apoiando roteamento orientado a desempenho e desempenho-custo, bem como pools de modelos dinâmicos por meio de pontuação compartilhada e mascaramento de disponibilidade.
2. Arquitetura de Alinhamento de Capacidade Latente: A introdução de um roteador que usa cápsulas de roteamento aprendidas e tokens de capacidade de modelo conectados por comunicação latente para alinhar requisitos de consulta com capacidades do modelo.
3. Avaliação Abrangente: Experimentos extensivos no MMR-Bench e no VL-RouterBench demonstrando superioridade sobre baselines de modelo fixo, nível de características e roteador aprendido.

Resultados Experimentais

• Desempenho: O LATENTROUTER alcança os melhores resultados não-órfãos em ambas as benchmarks em configurações orientadas a desempenho e desempenho-custo. As melhorias são estatisticamente significativas (por exemplo, $p < 0.001$ na configuração de custo do VL-RouterBench).
• Sensibilidade a Tarefas: Os ganhos são mais pronunciados em tarefas que exigem sinais multimodais finos, como OCR, compreensão de Gráficos/Diagramas e raciocínio em Matemática/STEM, onde a escolha do modelo depende altamente de características visuais e de layout.
• Previsão Contrafactual: O roteador supera as baselines em métricas de classificação (NDCG, correlação de Spearman, Recall Top-3), indicando que prevê efetivamente a ordenação relativa das capacidades do modelo, e não apenas pontuações médias.
• Estudos de Ablação: A comunicação latente é identificada como o principal contribuinte para os ganhos de desempenho. Sua remoção causa a maior queda de desempenho. O cabeçalho distribucional e a correção limitada fornecem melhorias consistentes, porém menores.
• Flexibilidade e Eficiência: O roteador lida efetivamente com pools de candidatos em mudança por meio de mascaramento de disponibilidade. Ele alcança a melhor métrica primária média enquanto mantém a latência mais baixa entre roteadores aprendidos (0,06 ms vs. 0,10–0,17 ms para os outros).

Significado e Alegações

O artigo afirma que o LATENTROUTER aborda as limitações específicas do roteamento centrado em texto em sistemas multimodais ao modelar explicitamente a interação entre requisitos visuais específicos da consulta e capacidades do modelo. Os autores afirmam que os ganhos decorrem de um mecanismo de alinhamento consulta-modelo mais eficaz, e não de atalhos específicos de benchmark.

O trabalho demonstra que tratar o roteamento como um problema de previsão contrafactual, combinado com comunicação latente entre cápsulas de consulta e tokens de modelo, permite uma seleção robusta em pools de modelos heterogêneos. Os autores observam que, embora o roteador melhore a eficiência e a relação custo-benefício, ele depende de dados de calibração para perfis de capacidade do modelo, e são necessários trabalhos futuros para implantação ao vivo, calibração adaptativa para novos modelos e extensões para roteamento multi-etapa. O artigo enfatiza que o roteador é um mecanismo de seleção de modelos e não uma garantia de correção ou segurança, particularmente em domínios de alto risco.