Resumen Técnico: RIZZ (Routing Interactions to Near Zero-Interference Zones)

Declaración del Problema

Los modelos de lenguaje extensos (LLM) se están desplegando cada vez más como agentes compuestos de larga duración que deben adaptarse a flujos no estacionarios de usuarios, tareas y regímenes de retroalimentación sin acceso a los pesos del modelo (entorno de caja negra). Las estrategias de adaptación existentes enfrentan tres limitaciones primarias en este régimen:

1. Optimización de Memoria Global o de Prompt Único: Los métodos que optimizan un único prompt o mantienen una memoria global indiferenciada luchan contra la interferencia catastrófica, donde las lecciones de una familia de tareas contaminan el comportamiento en tareas no relacionadas.
2. Enfoques con Alta Carga de Búsqueda: Las técnicas que dependen de rollouts repetidos o búsquedas extensas son computacionalmente costosas y a menudo impracticables en escenarios en línea con presupuesto de contexto limitado.
3. Falta de Selectividad: Los sistemas actuales suelen fallar al distinguir entre estructuras procedimentales reutilizables y ruido específico de la tarea, lo que conduce a un rendimiento frágil o a un aislamiento ineficiente.

El desafío central es permitir que un agente mejore continuamente a partir de la experiencia (adaptación en línea) mientras controla explícitamente la interferencia entre familias de tareas, todo ello sin actualizar los parámetros del modelo subyacente congelado.

Metodología: Marco de Trabajo RIZZ

RIZZ (Routing Interactions to Near Zero-Interference Zones) es un marco de adaptación continua que desplaza el locus del aprendizaje de los parámetros del modelo hacia un sistema de memoria externa y enrutada. El sistema opera sobre un LLM de caja negra congelado y se basa en tres mecanismos centrales: Enrutamiento Jerárquico, Memoria Local de Rama y Evolución Mediante Puerta de Verificador.

1. Estado Adaptativo y Enrutamiento Jerárquico

En lugar de una única memoria global, RIZZ mantiene un Banco de Ramas ($B_t$), donde cada rama actúa como una "zona de interferencia casi nula" o una memoria experta especializada.

• Etiquetado: Para cada consulta entrante, un enrutador ligero (utilizando un juez de LLM) asigna una etiqueta jerárquica que consiste en una función ($f$) y una aplicación ($a$).
• Ajuste (Snapping) y Deduplicación: El sistema ajusta las nuevas etiquetas a las ramas existentes utilizando similitud de embeddings para la aplicación ($\tau_{snap} = 0.92$) y el solapamiento de tokens Jaccard para hermanos de la misma función ($\tau_J = 0.40$). Esto evita la fragmentación mientras permite la especialización.
• Generación Dinámica (Spawning): Si no existe una rama compatible y hay capacidad disponible, se genera una nueva rama. Si una rama se vuelve redundante, se fusiona o se poda.
• Lógica de Enrutamiento: El enrutador selecciona la rama que mejor coincida con la función y la aplicación de la consulta, asegurando que las interacciones relacionadas se agrupen.

2. Sustratos de Memoria Locales de Rama

Cada rama $b$ contiene múltiples tipos de memoria:

• Memoria Episódica: Almacena ejemplos de entrada/salida aprobados por el verificador.
• Memoria Procedimental: Almacena reglas IF-THEN compactas destiladas de lotes exitosos. Las reglas se ponderan mediante contadores de útil/dañino basados en la retroalimentación del verificador.
• Memoria de Fallos: Almacena respuestas erróneas sustantivas como "errores comunes" (anti-patrones) para evitar la repetición, mantenidos locales a la rama para evitar la sobregeneralización.
• Contexto Delimitado (Scoped Context): Recupera evidencia específica de la sesión filtrada por metadatos de alcance.

3. Evolución de Memoria Mediante Puerta de Verificador

Las actualizaciones de la memoria están estrictamente controladas por un verificador determinista (por ejemplo, ratio difuso, coincidencia exacta, ejecución de código).

• Política de Escritura: Solo las interacciones que pasan un umbral dependiente del verificador se escriben en la memoria duradera.
• Promoción de Reglas: Las interacciones exitosas pueden destilarse en reglas procedimentales; los fallos se retienen como anti-patrones.
• Cuarentena: Las interacciones de baja recompensa o alejadas del centroide se ponen en cuarentena o se descartan para evitar contaminar la rama.
• Compilación de Prompts: Un compilador de prompts con límites ensambla el material recuperado (contexto delimitado, ejemplos episódicos, reglas, errores) en un prompt dentro de un presupuesto fijo de tokens (por ejemplo, 64K). Los bloques de menor prioridad se eliminan primero para asegurar una degradación elegante hacia la línea base congelada en lugar de un desbordamiento de contexto.

Principales Contribuciones

1. Marco de Enrutamiento Agnóstico a la Tarea: RIZZ formula la adaptación de caja negra como un problema de decisión en línea donde un modelo congelado se adapta únicamente a través de un estado externo. Descubre ramas de memoria especialista en línea sin necesidad de IDs de tarea de verdad fundamental o taxonomías preespecificadas.
2. Memoria Compacta Local de Rama: Introduce un mecanismo de enrutamiento jerárquico que combina guardas de forma de salida, ajuste basado en embeddings y deduplicación Jaccard. Esto mantiene la experiencia relacionada, limita la interferencia entre tareas y permite la creación y fusión dinámica de ramas.
3. Evolución Mediante Puerta de Verificador: Las actualizaciones de la memoria dependen enteramente de la validación de la recompensa. Esto asegura que solo las interacciones verificadas y útiles actualicen la memoria, mientras que los fallos se almacenan como plantillas anti-patrón. Un compilador consciente del presupuesto asegura que el sistema sea rentable.
4. Rendimiento Empírico Eficiente: RIZZ logra una alta precisión a través de adaptaciones de flujo continuo, aprendizaje continuo secuencial y benchmarks de memoria conversacional a largo plazo, manteniéndose significativamente más económico y eficiente en tokens que las bases de memoria más pesadas.

Resultados Experimentales

Los autores evaluaron RIZZ en cuatro benchmarks utilizando Claude Haiku 4.5 como el modelo base congelado:

• TRACE (Aprendizaje Continuo Secuencial): RIZZ mejoró la recompensa promedio en +6.9 puntos porcentuales sobre la línea base Congelada y en +7.6 puntos sobre AMem. Crucialmente, mientras que la línea base ACE colapsó (recompensa de 0.047) debido al desbordamiento de la ventana de contexto en tareas de entrada larga, RIZZ mantuvo la estabilidad manteniendo el manual compacto (estabilizándose alrededor de 10–15K tokens) y limitando el número de ramas (48 en total, 31 activas).
• StreamBench (Flujos Entrelazados en Línea): RIZZ mejoró en +3.3 puntos porcentuales sobre Frozen y en +2.2 puntos sobre AMem, con un costo total menor ($7.37 vs. $7.99 para Frozen). Logró concentrar el tráfico en ramas especialistas de alto volumen (por ejemplo, una rama de diagnóstico clínico que manejó el 43% del tráfico).
• LongMemEval-S (Memoria Conversacional): RIZZ alcanzó la recompensa promedio más alta (0.484), superando significativamente a AMem (0.322) y Frozen (0.202). Destacó en tareas de razonamiento temporal y de múltiples sesiones, asignando ramas distintas a diferentes sesiones de conversación, mientras que ACE falló debido al agotamiento de la ventana de contexto.
• $\tau$-Bench (Uso de Herramientas): RIZZ mejoró el pass@1 del agente ReAct de 0.352 (Frozen) a 0.400, superando a ACE (0.370) y AMem (0.303) con un aumento mínimo de costo.
  Estudios de Ablación: Eliminar la memoria procedimental, forzar el enrutamiento de una sola rama o deshabilitar los mecanismos de anti-fragmentación resultó en caídas de rendimiento medibles, confirmando la necesidad de la estructura de ramas y la puerta del verificador.

Significado y Reivindicaciones

El artículo afirma que RIZZ demuestra que la adaptación continua para agentes de caja negra puede lograrse eficazmente sin ajuste fino (fine-tuning) ni un crecimiento ilimitado del contexto.

• Control de la Interferencia: Al enrutar las interacciones a zonas de casi cero interferencia, RIZZ resuelve el dilema de estabilidad-plasticidad a nivel de memoria en lugar de a nivel de pesos. Permite que el agente acumule conocimiento donde la estructura recurre (por ejemplo, formatos de salida repetidos, políticas de dominio) sin contaminar tareas no relacionadas.
• Eficiencia Operativa: A diferencia de las líneas base que sufren de colapso de contexto o altos costos de tokens debido a manuales globales masivos, RIZZ permanece operativamente ligero. Degrada su rendimiento de manera elegante hacia la línea base congelada cuando los presupuestos de contexto son ajustados, en lugar de fallar.
• Practicidad: El marco está diseñado para el régimen donde la adaptación debe ocurrir en línea bajo presupuestos de contexto estrictos, lo que lo hace adecuado para el despliegue de sistemas de IA compuestos en el mundo real.

Los autores concluyen que RIZZ apunta hacia un futuro donde los sistemas de IA compuestos utilicen sustratos de memoria curados, enrutados y auditables para la adaptación continua, en lugar de depender de transcripciones cada vez más grandes e indiferenciadas.