Resumo Técnico: Roteador Neural: Correspondência Semântica de Conteúdo para IA Agêntica

1. Declaração do Problema

À medida que agentes de IA autônomos operam através do contínuo de computação (nuvem, borda, IoT), eles devem descobrir e consumir informações de fontes diversas com formatos de dados, vocabulários e modalidades variados. Sistemas tradicionais de publicação/assinatura (pub/sub) baseados em conteúdo dependem de correspondência de palavras-chave ou filtros baseados em atributos, que falham em superar a "lacuna semântica" quando publicadores e assinantes utilizam terminologias ou modalidades diferentes (por exemplo, ativações brutas de sensores versus descrições de atividades em linguagem natural). Embora a correspondência semântica baseada em embeddings ofereça uma solução intermediária, ela carece do raciocínio abdutivo necessário quando as modalidades não se alinham.

O artigo aborda o projeto de um motor de correspondência para um broker pub/sub que utiliza Grandes Modelos de Linguagem (LLMs) para avaliar se uma peça de conteúdo satisfaz uma descrição de interesse em linguagem natural. O desafio central é integrar LLMs no loop de correspondência, gerenciando as compensações entre precisão semântica, latência e custo computacional, particularmente dadas as restrições de janelas de contexto e a natureza não determinística da inferência de LLMs.

2. Metodologia e Arquitetura

Os autores propõem o Roteador Neural, um broker pub/sub baseado em conteúdo onde o LLM serve como o motor de correspondência primário. O sistema é enquadrado como um problema de recuperação multirrótulo offline e emprega uma arquitetura de dois níveis:

• Caminho de Assinatura Offline:

  • Embedding e Agrupamento: Descrições de assinatura em texto livre são incorporadas (usando Sentence-BERT) e agrupadas via $k$-means em grupos semanticamente coerentes.
  • Compressão: Dentro de cada agrupamento, um algoritmo CoverAndMerge (Algoritmo 4) utiliza o LLM para identificar assinaturas que são semanticamente subsumidas por outras mais amplas (cobrindo) ou que podem ser combinadas (fundindo). Isso reduz a pegada de tokens do conjunto de assinaturas.
  • Atribuição de Backend: Os agrupamentos são atribuídos a backends específicos de LLM com base em uma pontuação de Qualidade de Experiência (QoE), que é uma escalarização ponderada de precisão, custo e latência.

• Caminho de Evento Online:

  • Roteamento: Eventos entrantes são incorporados e roteados para agrupamentos candidatos com base na similaridade cosseno em relação aos centróides dos agrupamentos.
  • Agrupamento e Correspondência: Eventos são acumulados em lotes e empacotados em prompts de LLM juntamente com o conjunto de assinaturas comprimido do agrupamento alvo. O LLM retorna as $\kappa$ melhores assinaturas correspondentes para cada evento.

Algoritmos Chave

1. OptimizeSubscriptions: Prepara a tabela de correspondência incorporando, agrupando e comprimindo assinaturas, e depois atribuindo backends.
2. MatchEvents: Roteia eventos para agrupamentos, os agrupa em lotes e invoca o LLM atribuído para correspondência semântica.
3. CoverAndMerge: Um processo iterativo assistido por LLM que reduz o tamanho do conjunto de assinaturas, visando preservar a recuperação.

Modelo de Custo e Análise de Ponto de Interseção

O artigo deriva um modelo de custo prevendo dois pontos de interseção críticos:

1. Ponto de Interseção de Janela de Contexto ($W_{cross}$): Um limiar teórico abaixo do qual a compressão (redução de tokens de assinatura) aumenta o tamanho do lote de eventos por invocação de LLM, reduzindo assim o número total de invocações e a latência. Acima deste limiar (típico de LLMs de nuvem modernos com grandes janelas de contexto), o sobrecusto do agrupamento e de múltiplos prompts supera as economias da compressão.
2. Ponto de Interseção de Capacidade de Discriminação ($|S|_{cross}$): Um limiar empírico onde o número de assinaturas ($|S|$) excede a capacidade do LLM de tomar decisões de relevância binária simultâneas precisas. Além deste ponto, a precisão da correspondência colapsa, independentemente do tamanho da janela de contexto, devido a restrições de orçamento de atenção.

3. Configuração Experimental

A avaliação abrange três conjuntos de dados públicos representando diferentes domínios e dificuldades semânticas:

• CardiffNLP (D1): Tweets de mídia social (19 tópicos, baixa lacuna semântica).
• EUR-Lex (D2): Documentos legais da UE (201 matérias, lacuna semântica moderada, contexto longo).
• CASAS (D3): Logs de sensores de casas inteligentes (19 atividades, alta lacuna de modalidade exigindo raciocínio abdutivo).

Backends: Seis LLMs foram avaliados:

• Pesos abertos: Qwen 2.5 (1.5B, 7B, 32B) e Mistral 7B.
• API fechada: Claude 3 Haiku e Claude 3 Sonnet.

Baselines: Sete baselines incluíram correspondência de palavras-chave (BM25, TF-IDF), similaridade de embeddings (Sentence-BERT, GloVe, Word2Vec), pontuação neural par a par (Cross-Encoder) e classificação zero-shot (DistilBART-MNLI).

Configurações: Sete configurações de ablação (A0–A6) testaram o impacto de agrupamento, compressão, reunificação e filtragem.

4. Resultados Chave

Compensações Custo-Precisão

• Ponto de Interseção de Janela de Contexto: Em conjuntos de dados com grandes janelas de contexto (APIs de nuvem, $W \ge 128K$), a configuração LLM Bruto (A0) domina. Agrupamento e compressão (A1, A3, A4) aumentam o número de invocações de LLM sem melhorar a precisão, pois a janela de contexto não é a restrição vinculativa.
• Regime de Borda: Em ambientes restritos ($W \approx 4K$), a compressão (A4) reduz invocações. No entanto, o artigo observa um colapso de previsão vazia: à medida que o conjunto de assinaturas cresce via duplicação, o vocabulário do LLM se estreita, e ele retorna cada vez mais correspondências vazias, fazendo com que a precisão caia significativamente apesar da compressão.

Capacidade de Discriminação

• Dependência do Modelo: A precisão declina quando $|S|$ excede um limiar específico do modelo ($|S|_{cross}$). Este limiar não é um escalar global, mas depende do fator conjunto de contagem de parâmetros e geração de treinamento.
• Descobertas em D2 ($|S|=201$):
  • Modelos menores (Qwen 1.5B, 7B) colapsaram para precisão próxima de zero.
  • Modelos maiores (Qwen 32B) e gerações mais recentes (Mistral 7B) mostraram recuperação parcial, mas permaneceram abaixo das baselines par a par.
  • Apenas o modelo de API fechada de fronteira (Claude Sonnet) superou significativamente as baselines par a par.
• Conclusão: A seleção de backend (escolha do modelo) é a alavanca primária para o desempenho; o ajuste do pipeline (agrupamento/compressão) é secundário.

Atribuição de Backend QoE

• Um framework de atribuição baseado em QoE foi testado contra uma baseline de Round-Robin.
• Em um gradiente 7B/32B, o Round-Robin alcançou 83% do fechamento da lacuna de precisão do tier maior com 0,7x a latência.
• A abordagem otimizada por QoE não superou consistentemente o Round-Robin devido a ruído de calibração; a pequena amostra de calibração (10%) foi insuficiente para distinguir confiavelmente o desempenho do backend ao nível do agrupamento. Separação foi observada apenas sob predefinições de peso específicas "custo-primeiro".

5. Significância e Alegações

O artigo alega as seguintes contribuições e significância:

• Primeiro Pub/Sub com LLM no Loop: É o primeiro sistema a colocar um LLM diretamente dentro do loop de correspondência de conteúdo de um broker pub/sub, indo além do uso de LLMs meramente para orquestração ou geração de notificações pós-correspondência.
• Caracterização de Dois Pontos de Interseção: O artigo fornece um framework principiado para entender quando a correspondência baseada em LLM é viável. Identifica que a capacidade de discriminação (a capacidade de raciocinar sobre muitas opções simultâneas) é frequentemente uma restrição mais apertada do que o tamanho da janela de contexto.
• Orientação Prática:
  • Para grandes janelas de contexto, correspondência bruta simples (A0) é superior a pipelines complexos.
  • Para alta cardinalidade de assinaturas, a seleção do modelo é mais crítica do que o ajuste de configuração.
  • Pipelines de compressão são benéficos apenas em regimes de janela de contexto restritos e são condicionais à capacidade do LLM de lidar com descrições compostas e fundidas sem colapsar.
• Ponte de Modalidade: O sistema supera com sucesso a lacuna de modalidade (por exemplo, dados de sensores para linguagem natural) onde filtros baseados em embeddings falham por construção.

Os autores permanecem modestos quanto ao trabalho futuro, notando que a avaliação atual é offline, de um único broker e de um único inquilino. Eles deferem explicitamente questões de operação online, federação distribuída e extensões multimodais para estudos futuros. Eles também reconhecem que os resultados de benchmark podem ser limites superiores devido à potencial contaminação de dados (memorização de conjuntos de dados públicos por LLMs).