Resumo Técnico: RIZZ (Routing Interactions to Near Zero-Interference Zones)

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados como agentes compostos de longa duração que devem se adaptar a fluxos não estacionários de usuários, tarefas e regimes de feedback sem acesso aos pesos do modelo (configuração de caixa-preta). As estratégias de adaptação existentes enfrentam três limitações primárias neste regime:

1. Otimização de Prompt Único/Memória Global: Métodos que otimizam um único prompt ou mantêm uma memória global indiferenciada lutam contra a interferência catastrófica, onde lições de uma família de tarefas contaminam o comportamento em tarefas não relacionadas.
2. Abordagens Intensivas em Busca: Técnicas que dependem de rollouts repetidos ou busca extensiva são computacionalmente caras e frequentemente impraticáveis para cenários online com orçamento de contexto limitado.
3. Falta de Seletividade: Os sistemas atuais frequentemente falham em distinguir entre estruturas procedimentais reutilizáveis e ruído específico da tarefa, levando a um desempenho ou frágil ou desperdiçador de isolamento.

O desafio central é permitir que um agente melhore continuamente a partir da experiência (adaptação online) enquanto controla explicitamente a interferência entre famílias de tarefas, tudo isso sem atualizar os parâmetros subjacentes do modelo congelado.

Metodologia: Estrutura RIZZ

RIZZ (Routing Interactions to Near Zero-Interference Zones) é uma estrutura de adaptação contínua que desloca o lócus do aprendizado dos parâmetros do modelo para um sistema de memória roteado externo. O sistema opera sobre um LLM de caixa-preta congelado e baseia-se em três mecanismos principais: Roteamento Hierárquico, Memória Local à Ramificação e Evolução Controlada por Verificador.

1. Estado Adaptativo e Roteamento Hierárquico

Em vez de uma única memória global, o RIZZ mantém um Banco de Ramificações ($B_t$), onde cada ramificação atua como uma "zona de quase zero interferência" ou uma memória especialista especializada.

• Rotulagem: Para cada consulta recebida, um roteador leve (usando um juiz LLM) atribui um rótulo hierárquico consistindo em uma função ($f$) e uma aplicação ($a$).
• Encaixe (Snapping) e Desduplicação: O sistema encaixa novos rótulos em ramificações existentes usando similaridade de embedding para a aplicação ($\tau_{snap} = 0,92$) e sobreposição de tokens Jaccard para irmãos de mesma função ($\tau_J = 0,40$). Isso evita a fragmentação enquanto permite a especialização.
• Geração Dinâmica (Spawning): Se nenhuma ramificação compatível existir e houver capacidade, uma nova ramificação é gerada. Se uma ramificação se tornar redundante, ela é mesclada ou podada.
• Lógica de Roteamento: O roteador seleciona a ramificação que melhor corresponde à função e aplicação da consulta, garantindo que interações relacionadas sejam agrupadas.

2. Substratos de Memória Local à Ramificação

Cada ramificação $b$ contém múltiplos tipos de memória:

• Memória Episódica: Armazena exemplos de entrada/saída aprovados pelo verificador.
• Memória Procedimental: Armazena regras IF-THEN compactas destiladas de lotes bem-sucedidos. As regras são ponderadas por contadores de útil/prejudicial baseados no feedback do verificador.
• Memória de Falha: Armazena respostas erradas substantivas como "padrões anti-exemplos" (anti-patterns) para evitar repetição, mantidas locais à ramificação para evitar a generalização excessiva.
• Contexto Escopado: Recupera evidências específicas da sessão filtradas por escopo de metadados.

3. Evolução de Memória Controlada por Verificador

As atualizações de memória são estritamente controladas por um verificador determinístico (ex: razão fuzzy, correspondência exata, execução de código).

• Política de Escrita: Apenas interações que passam de um limiar dependente do verificador são escritas na memória durável.
• Promoção de Regras: Interações bem-sucedidas podem ser destiladas em regras procedimentais; falhas são retidas como anti-padrões.
• Quarentena: Interações de baixa recompensa ou fora do centroide são colocadas em quarentena ou descartadas para evitar a contaminação da ramificação.
• Compilação de Prompt: Um compilador de prompt com limite de recursos assembly o material recuperado (contexto escopado, exemplos episódicos, regras, erros) em um prompt dentro de um orçamento fixo de tokens (ex: 64K). Blocos de menor prioridade são descartados primeiro para garantir uma degradação graciosa para a linha de base congelada em vez de estouro de contexto.

Principais Contribuições

1. Estrutura de Roteamento Agnóstica à Tarefa: O RIZZ formula a adaptação de caixa-preta como um problema de decisão online onde um modelo congelado se adapta unicamente através de estado externo. Ele descobre ramificações de memória especialista online sem IDs de tarefa de verdade ou taxonomias pré-especificadas.
2. Memória Compacta Local à Ramificação: Introduz um mecanismo de roteamento hierárquico que combina guardas de forma de saída, encaixe baseado em embedding e desduplicação Jaccard. Isso mantém experiências relacionadas juntas, limita a interferência entre tarefas e permite a criação dinâmica de ramificações.
3. Evolução Controlada por Verificador: As atualizações de memória dependem inteiramente da validação de recompensa. Isso garante que apenas interações verificadas e úteis atualizem a memória, enquanto falhas são armazenadas como anti-templates concretos. Um compilador consciente do orçamento garante que o sistema permaneça eficiente em termos de tokens.
4. Desempenho Empírico Eficiente: O RIZZ alcança alta precisão em benchmarking de adaptação de streaming, aprendizagem contínua sequencial e benchmarks de memória conversacional de longo prazo, permanecendo significativamente mais barato e eficiente em tokens do que bases de memória mais pesadas.

Resultados Experimentais

Os autores avaliaram o RIZZ em quatro benchmarks usando o Claude Haiku 4.5 como o modelo base congelado:

• TRACE (Aprendizagem Contínua Sequencial): O RIZZ melhorou a recompensa média em +6,9 pontos percentuais sobre a linha de base Frozen e +7,6 pontos sobre o AMem. Crucialmente, enquanto a linha de base ACE colapsou (0,047 de recompensa) devido ao estouro da janela de contexto em tarefas de entrada longa, o RIZZ manteve a estabilidade mantendo o playbook compacto (estabilizando em torno de 10–15K tokens) e limitando o número de ramificações (48 no total, 31 ativas).
• StreamBench (Fluxos Intercalados Online): O RIZZ melhorou em +3,3 pontos percentuais sobre o Frozen e +2,2 pontos sobre o AMem, com um custo total menor ($7,37 vs. $7,99 para o Frozen). Ele concentrou com sucesso o tráfego em ramificações especialistas de alto volume (ex: uma ramificação de diagnóstico clínico lidando com 43% do tráfego).
• LongMemEval-S (Memória Conversacional): O RIZZ alcançou a maior recompensa média (0,484), superando significativamente o AMem (0,322) e o Frozen (0,202). Ele se destacou em tarefas de raciocínio temporal e de múltiplas sessões ao alocar ramificações distintas para diferentes sessões de conversa, enquanto o ACE falhou devido à exaustão da janela de contexto.
• $\tau$-Bench (Uso de Ferramentas): O RIZZ melhorou o pass@1 do agente ReAct de 0,352 (Frozen) para 0,400, superando o ACE (0,370) e o AMem (0,303) com um aumento mínimo de custo.
  Estudos de Ablação: Remover a memória procedimental, forçar o roteamento de ramificação única ou desativar mecanismos de anti-fragmentação resultou em quedas mensuráveis de desempenho, confirmando a necessidade da estrutura de ramificação e do controle por verificador.

Significância e Alegações

O artigo afirma que o RIZZ demonstra que a adaptação contínua para agentes de caixa-preta pode ser alcançada efetivamente sem ajuste fino (fine-tuning) ou crescimento ilimitado de contexto.

• Controle de Interferência: Ao rotear interações para zonas de quase zero interferência, o RIZZ resolve o dilema estabilidade-plasticidade ao nível da memória, em vez de ao nível dos pesos. Ele permite que o agente acumule conhecimento onde a estrutura recorre (ex: formatos de saída repetidos, políticas de domínio) sem contaminar tarefas não relacionadas.
• Eficiência Operacional: Ao contrário das linhas de base que sofrem de colapso de contexto ou altos custos de tokens devido a playbooks globais massivos, o RIZZ permanece operacionalmente leve. Ele degrada graciosamente para a linha de base congelada quando os orçamentos de contexto estão apertados, em vez de falhar.
• Praticidade: A estrutura é projetada para o regime onde a adaptação deve ocorrer online sob orçamentos de contexto estritos, tornando-a adequada para a implantação de sistemas de IA compostos no mundo real.

Os autores concluem que o RIZZ aponta para um futuro onde sistemas de IA compostos utilizam substratos de memória curados, roteados e auditáveis para adaptação contínua, em vez de depender de transcrições crescentes e indiferenciadas.