Resumen Técnico: Neural Router: Coincidencia Semántica de Contenido para IA Agéntica

1. Declaración del Problema

A medida que los agentes de IA autónomos operan a través del continuo de computación (nube, borde, IoT), deben descubrir y consumir información de diversas fuentes con formatos de datos, vocabularios y modalidades variables. Los sistemas tradicionales de publicación/suscripción (pub/sub) basados en contenido dependen de la coincidencia de palabras clave o filtros basados en atributos, los cuales no logran cerrar la "brecha semántica" cuando los publicadores y suscriptores utilizan terminologías o modalidades diferentes (por ejemplo, activaciones de sensores crudas frente a descripciones de actividades en lenguaje natural). Si bien la coincidencia semántica basada en incrustaciones ofrece una solución intermedia, carece del razonamiento abductivo necesario cuando las modalidades no se alinean.

El artículo aborda el diseño de un motor de coincidencia para un intermediario pub/sub que utiliza Modelos de Lenguaje Grande (LLM) para evaluar si un fragmento de contenido satisface una descripción de interés en lenguaje natural. El desafío central es integrar los LLM en el bucle de coincidencia mientras se gestionan las compensaciones entre la precisión semántica, la latencia y el costo computacional, particularmente dadas las restricciones de las ventanas de contexto y la naturaleza no determinista de la inferencia de LLM.

2. Metodología y Arquitectura

Los autores proponen el Neural Router, un intermediario pub/sub basado en contenido donde el LLM actúa como el motor de coincidencia principal. El sistema se enmarca como un problema de recuperación multietiqueta fuera de línea y emplea una arquitectura de dos niveles:

• Ruta de Suscripción Fuera de Línea:

  • Incrustación y Agrupamiento: Las descripciones de suscripción en texto libre se incrustan (utilizando Sentence-BERT) y se agrupan mediante $k$-means en grupos semánticamente coherentes.
  • Compresión: Dentro de cada grupo, un algoritmo CoverAndMerge (Algoritmo 4) utiliza el LLM para identificar suscripciones que están semánticamente contenidas por otras más amplias (cobertura) o que pueden combinarse (fusión). Esto reduce la huella de tokens del conjunto de suscripciones.
  • Asignación de Backend: Los grupos se asignan a backends específicos de LLM basándose en una puntuación de Calidad de Experiencia (QoE), que es una escalarización ponderada de precisión, costo y latencia.

• Ruta de Evento en Línea:

  • Enrutamiento: Los eventos entrantes se incrustan y se enrutan a grupos candidatos basándose en la similitud coseno con los centroides de los grupos.
  • Agrupamiento y Coincidencia: Los eventos se acumulan en lotes y se empaquetan en indicaciones (prompts) de LLM junto con el conjunto de suscripciones comprimido del grupo objetivo. El LLM devuelve las $\kappa$ suscripciones coincidentes principales para cada evento.

Algoritmos Clave

1. OptimizeSubscriptions: Prepara la tabla de coincidencia incrustando, agrupando y comprimiendo suscripciones, y luego asignando backends.
2. MatchEvents: Enruta eventos a grupos, los agrupa en lotes e invoca al LLM asignado para la coincidencia semántica.
3. CoverAndMerge: Un proceso iterativo asistido por LLM que reduce el tamaño del conjunto de suscripciones mientras busca preservar la recuperación (recall).

Modelo de Costos y Análisis de Cruce

El artículo deriva un modelo de costos que predice dos puntos de cruce críticos:

1. Cruce de Ventana de Contexto ($W_{cross}$): Un umbral teórico por debajo del cual la compresión (reducción de tokens de suscripción) aumenta el tamaño del lote de eventos por invocación de LLM, reduciendo así el número total de invocaciones y la latencia. Por encima de este umbral (típico de los LLM modernos en la nube con ventanas de contexto grandes), la sobrecarga del agrupamiento y múltiples indicaciones supera los ahorros derivados de la compresión.
2. Cruce de Capacidad de Discriminación ($|S|_{cross}$): Un umbral empírico donde el número de suscripciones ($|S|$) supera la capacidad del LLM para tomar decisiones simultáneas de relevancia binaria precisas. Más allá de este punto, la precisión de la coincidencia colapsa, independientemente del tamaño de la ventana de contexto, debido a las restricciones del presupuesto de atención.

3. Configuración Experimental

La evaluación abarca tres conjuntos de datos públicos que representan diferentes dominios y dificultades semánticas:

• CardiffNLP (D1): Tuits de redes sociales (19 temas, baja brecha semántica).
• EUR-Lex (D2): Documentos legales de la UE (201 materias, brecha semántica moderada, contexto largo).
• CASAS (D3): Registros de sensores de hogares inteligentes (19 actividades, alta brecha de modalidad que requiere razonamiento abductivo).

Backends: Se evaluaron seis LLM:

• Peso abierto: Qwen 2.5 (1.5B, 7B, 32B) y Mistral 7B.
• API cerrada: Claude 3 Haiku y Claude 3 Sonnet.

Líneas Base: Siete líneas base incluyeron coincidencia de palabras clave (BM25, TF-IDF), similitud de incrustaciones (Sentence-BERT, GloVe, Word2Vec), puntuación neuronal por pares (Cross-Encoder) y clasificación zero-shot (DistilBART-MNLI).

Configuraciones: Siete configuraciones de ablación (A0–A6) probaron el impacto del agrupamiento, la compresión, la reunificación y el filtrado.

4. Resultados Clave

Compensaciones Costo-Precisión

• Cruce de Ventana de Contexto: En conjuntos de datos con ventanas de contexto grandes (APIs en la nube, $W \ge 128K$), la configuración LLM Crudo (A0) domina. El agrupamiento y la compresión (A1, A3, A4) aumentan el número de invocaciones de LLM sin mejorar la precisión, ya que la ventana de contexto no es la restricción vinculante.
• Régimen de Borde: En entornos restringidos ($W \approx 4K$), la compresión (A4) reduce las invocaciones. Sin embargo, el artículo observa un colapso de predicción vacía: a medida que el conjunto de suscripciones crece mediante duplicación, el vocabulario del LLM se estrecha y devuelve cada vez más coincidencias vacías, provocando que la precisión disminuya significativamente a pesar de la compresión.

Capacidad de Discriminación

• Dependencia del Modelo: La precisión disminuye cuando $|S|$ supera un umbral específico del modelo ($|S|_{cross}$). Este umbral no es un escalar global, sino que depende del factor conjunto de la cantidad de parámetros y la generación de entrenamiento.
• Hallazgos en D2 ($|S|=201$):
  • Los modelos más pequeños (Qwen 1.5B, 7B) colapsaron a una precisión cercana a cero.
  • Los modelos más grandes (Qwen 32B) y las generaciones más nuevas (Mistral 7B) mostraron una recuperación parcial pero permanecieron por debajo de las líneas base por pares.
  • Solo el modelo de API cerrada de vanguardia (Claude Sonnet) superó significativamente a las líneas base por pares.
• Conclusión: La selección del backend (elección del modelo) es la palanca principal para el rendimiento; el ajuste de la tubería (agrupamiento/compresión) es secundario.

Asignación de Backend QoE

• Se probó un marco de asignación basado en QoE contra una línea base de Round-Robin (rotación cíclica).
• En un gradiente 7B/32B, Round-Robin logró el 83% del cierre de la brecha de precisión del nivel superior con 0.7 veces la latencia.
• El enfoque optimizado por QoE no superó consistentemente a Round-Robin debido al ruido de calibración; la pequeña muestra de calibración (10%) fue insuficiente para distinguir de manera confiable el rendimiento del backend a nivel de grupo. La separación solo se observó bajo preajustes de peso específicos de "costo primero".

5. Significancia y Afirmaciones

El artículo afirma las siguientes contribuciones y significancia:

• Primero Pub/Sub con LLM en el Bucle: Es el primer sistema que coloca un LLM directamente dentro del bucle de coincidencia de contenido de un intermediario pub/sub, yendo más allá del uso de LLM meramente para orquestación o generación de notificaciones posteriores a la coincidencia.
• Caracterización de Dos Cruces: El artículo proporciona un marco principista para comprender cuándo es viable la coincidencia basada en LLM. Identifica que la capacidad de discriminación (la capacidad de razonar sobre muchas opciones simultáneas) es a menudo una restricción más estricta que el tamaño de la ventana de contexto.
• Guía Práctica:
  • Para ventanas de contexto grandes, la coincidencia simple en crudo (A0) es superior a las tuberías complejas.
  • Para alta cardinalidad de suscripciones, la selección del modelo es más crítica que el ajuste de configuración.
  • Las tuberías de compresión solo son beneficiosas en regímenes de ventana de contexto restringidos y dependen de la capacidad del LLM para manejar descripciones combinadas y compuestas sin colapsar.
• Puente de Modalidad: El sistema cierra exitosamente la brecha de modalidad (por ejemplo, datos de sensores a lenguaje natural) donde los filtros basados en incrustaciones fallan por construcción.

Los autores se mantienen modestos respecto al trabajo futuro, señalando que la evaluación actual es fuera de línea, de un solo intermediario y de un solo inquilino. Postergan explícitamente los problemas de operación en línea, federación distribuida y extensiones multimodales para estudios futuros. También reconocen que los resultados de las pruebas de referencia pueden ser límites superiores debido a la posible contaminación de datos (memorización de conjuntos de datos públicos por parte de los LLM).