Symbolic-Vector Attention Fusion for Collective Intelligence

A continuación presento un resumen técnico detallado del artículo "Symbolic-Vector Attention Fusion for Collective Intelligence" (Fusión de Atención Simbólica-Vectorial para la Inteligencia Colectiva), escrito por Hongwei Xu.

1. El Problema: Evaluación de Señales en Sistemas Multi-Agente Heterogéneos

En los sistemas multi-agente actuales, agentes autónomos operan en dominios distintos (ej. un asistente de código, un agente de música, un agente de fitness) observando diferentes aspectos de un entorno compartido. Cuando estos agentes se comunican, las señales intercambiadas mezclan dimensiones relevantes e irrelevantes para el receptor.

El desafío central: No existe un mecanismo que permita a un receptor evaluar qué dimensiones específicas de una señal entrante debe absorber y cuáles debe suprimir.

• Limitaciones de los enfoques actuales: Los métodos existentes (como la similitud coseno de un solo vector) tratan la señal completa como un bloque indivisible. Esto falla cuando una señal contiene información útil (ej. "el usuario está cansado") junto con información irrelevante (ej. "el usuario está escribiendo código Python"), ya que no pueden distinguir la redundancia de la novedad ni realizar una fusión selectiva por campo.
• Requisitos: Se necesita un sistema que permita la selectividad por campo, la autonomía del receptor (que decida según sus prioridades), la generación de "remixes" (nuevo conocimiento, no copias) y la detección de redundancia semántica.

2. Metodología: SVAF y el Protocolo de Memoria de Malla (MMP)

El autor introduce SVAF (Symbolic-Vector Attention Fusion), el componente de evaluación de contenido de un motor de acoplamiento de dos niveles dentro del Protocolo de Memoria de Malla (MMP).

A. Estructura de Datos: Bloques de Memoria Cognitiva (CMB)

Para permitir la evaluación granular, las observaciones se descomponen en Bloques de Memoria Cognitiva (CMB) que siguen un esquema fijo de 7 campos semánticos tipificados (CAT7):

1. Focus: El tema central.
2. Issue: Tensiones, riesgos o preguntas abiertas.
3. Intent: El objetivo o cambio deseado.
4. Motivation: Razones e incentivos.
5. Commitment: Promesas y compromisos.
6. Perspective: Punto de vista y contexto situacional.
7. Mood: Estado afectivo (coordenadas de valencia y arousal).

Cada campo tiene una representación dual: una etiqueta simbólica (texto legible) y un vector de embedding normalizado.

B. Arquitectura de SVAF (Capa 4 del MMP)

SVAF actúa como una puerta de evaluación neural que decide qué entra en el estado cognitivo de un agente. Funciona en cuatro etapas:

1. Codificación: Un codificador compartido con cabezales de proyección por campo convierte el texto de cada campo en vectores.
2. Atención Cruzada de Campos: Los campos dentro de un CMB se atienden entre sí para capturar interacciones (ej. cómo el estado de ánimo modula la interpretación de un problema).
3. Evaluación y Puerta de Fusión:
   • Se compara cada campo entrante con "memoria ancla" local.
   • Una puerta de fusión neuronal aprendida calcula un peso $g_f \in [0,1]$ para cada campo.
   • Si $g_f \to 1$, se mantiene la señal entrante; si $g_f \to 0$, se reemplaza por el contexto local.
   • Modelo de Banda Pasa: Clasifica la señal en cuatro categorías: Redundante (todos los campos ya conocidos), Alineada (nueva y relevante), Guardada (aceptación cautelosa) o Rechazada (irrelevante).
4. Síntesis (Remix): Los campos aceptados se fusionan con la memoria local mediante transformaciones no lineales para crear un nuevo CMB ("remix") que representa un nuevo entendimiento, no una copia.

C. Acoplamiento de Dos Niveles

El sistema opera con dos niveles de acoplamiento independientes:

1. Nivel de Par (Peer-level): Evalúa la cercanía cognitiva general entre agentes (usando redes neuronales CfC).
2. Nivel de Contenido (SVAF): Evalúa la relevancia de la señal específica, independientemente de quién la envía. Esto permite el "arranque en frío" entre agentes desconocidos si la señal es relevante.

D. Dinámica Temporal (Capa 6: CfC)

La otra mitad del motor de acoplamiento es una red neuronal de tiempo continuo de forma cerrada (CfC) en cada agente. Utiliza constantes de tiempo neuronales ($\tau$) aprendidas:

• Neuronas rápidas ($\tau < 5s$): Sincronizan el estado de ánimo (mood) entre agentes en segundos.
• Neuronas lentas ($\tau > 30s$): Preservan la experiencia de dominio específica indefinidamente, resistiendo el acoplamiento.
  Esto permite que la inteligencia colectiva emerja manteniendo la soberanía individual.

3. Contribuciones Clave

1. Descomposición Estructurada (C1): Introducción de los CMBs con el esquema CAT7, permitiendo que cualquier par de agentes evalúe señales cruzadas de dominio sin necesidad de un esquema dinámico.
2. Evaluación por Campo y Remix (C2): Un mecanismo que no solo filtra, sino que genera nuevo conocimiento ("remix") combinando la señal entrante con el contexto local, rastreando la línea de ascendencia (lineage) para la auditoría.
3. Ingeniería de Contexto a Nivel de Protocolo (C3): SVAF actúa como interfaz entre LLMs, curando qué entra en la ventana de contexto de cada agente. Esto resuelve el cuello de botella de la ingeniería de contexto en sistemas multi-LLM.
4. Jerarquía de Relevancia Descubierta (C4): El modelo descubre empíricamente que el campo Mood (estado afectivo) es el más relevante para la conexión cruzada de dominios, superando a campos factuales como "Focus" o "Intent".

4. Resultados Experimentales

El modelo fue entrenado y evaluado en un despliegue en vivo con 7 nodos (macOS, iOS, Web) y 237,120 muestras generadas a partir de 273 escenarios narrativos.

• Precisión: SVAF (neural) alcanzó una precisión del 78.7% en la clasificación de 3 clases (Alineado, Guardado, Rechazado).
  • Superó a la línea base de similitud coseno simple (66.8%) en 11.9 puntos porcentuales.
  • Superó a una versión heurística por campo (sin red neuronal) en 5.6 puntos.
• Descubrimiento de la Jerarquía de Puertas:
  • En la época 1 de entrenamiento, la puerta de Mood emergió como la más pesada ($0.331$), mientras que otros campos estaban cerca de cero.
  • Al final del entrenamiento, el peso de Mood fue $0.497$, casi el doble que el siguiente campo (Focus, $0.295$). Esto confirma que el estado afectivo es el vector de acoplamiento más universal entre dominios heterogéneos.
• Latencia:
  • La ruta heurística (implementada en producción) tiene una latencia de 0.07 ms.
  • La ruta neuronal completa tiene una latencia de ~50-100 ms (en caliente).
• Convergencia de Acoplamiento: En el despliegue en vivo, dos agentes desconocidos (drift de par 0.936, rechazado) lograron reducir su drift cognitivo a 0.468 (estado "guardado") en un solo ciclo de intercambio, impulsado únicamente por la aceptación de CMBs relevantes por parte de SVAF.

5. Significado e Implicaciones

• Inteligencia Colectiva Emergente: SVAF demuestra que la inteligencia colectiva no requiere un orquestador central ni una memoria compartida global. Surge de la interacción descentralizada donde cada agente filtra, mezcla y evoluciona su propio estado cognitivo.
• Resolución del Problema de Contexto: Al filtrar dimensiones irrelevantes antes de que lleguen al LLM, SVAF optimiza el uso de la ventana de contexto, permitiendo que los agentes razonen sobre información de alta calidad y relevancia específica.
• Validación de la Representación Afectiva: El hecho de que el modelo aprenda automáticamente a priorizar el "Mood" sobre otros campos factuales valida la hipótesis de que las representaciones emocionales en los LLMs están estructuralmente incrustadas y son el mecanismo más robusto para la sincronización entre agentes heterogéneos.
• Escalabilidad: El protocolo es agnóstico al dominio; nuevos agentes pueden unirse simplemente definiendo sus propios pesos de campo ($\alpha_f$) sin cambiar la infraestructura subyacente.

En conclusión, el artículo presenta un marco teórico y práctico robusto para la comunicación entre agentes heterogéneos, donde la selección selectiva por campo y la dinámica temporal diferenciada son las claves para lograr una inteligencia colectiva que respeta la especialización individual.