Resumen Técnico: Compresión del Registro Semántico en Cascadas de LLM Multi-Agente

Planteamiento del Problema

Los sistemas multi-agente de Modelos de Lenguaje de Gran Escala (LLM) descomponen cada vez más las tareas complejas en roles especializados (por ejemplo, Colector, Evaluador, Decisor). Si bien esta modularidad busca mejorar el razonamiento y la veracidad, introduce un riesgo representacional: los agentes intermedios pueden reescribir las entradas a través de registros lingüísticos y funcionales, comprimiendo sistemáticamente las distinciones semánticas necesarias para decisiones posteriores precisas.

El artículo identifica este fenómeno como Compresión del Registro Semántico. Se define como la pérdida de distinguibilidad de categorías que ocurre cuando un agente intermedio reescribe las entradas en un estilo evaluativo o analítico. A diferencia de los modos de fallo tradicionales, como las alucinaciones o el texto incoherente, este fallo es sutil; el sistema produce un razonamiento intermedio fluido que colapsa las distinciones entre categorías, causando que los resultados finales se concentren hacia etiquetas centrales o moderadas. Esto es particularmente crítico en arquitecturas donde el agente de decisión final no observa la entrada original, lo que hace que la pérdida de separabilidad semántica sea irrecuperable.

Metodología

El estudio emplea un flujo de trabajo secuencial de tres agentes implementado mediante LangGraph, que consiste en:

1. Colector: Recibe la entrada original y produce un reporte neutral.
2. Evaluador: Recibe solo la salida del Colector y produce una evaluación analítica.
3. Decisor: Recibe solo la salida del Evaluador y asigna una etiqueta de clasificación final.

Conjuntos de Datos:

• Primario: Conjunto de datos LIAR (verificación de hechos políticos), utilizando 50 afirmaciones equilibradas entre cinco etiquetas de veracidad (replicado en 500 afirmaciones).
• Trans-dominio: SST-5 (análisis de sentimiento) y Triagegeist (triaje médico sintético), con 50 ejemplos equilibrados cada uno.

Métrica de Medición:
Los autores introducen la Separación Inter-Etiqueta para cuantificar la compresión. Utilizando all-MiniLM-L6-v2 (un Sentence-Transformer externo e independiente de los LLM de la canalización), codifican los textos en cada etapa.

• Centroides: Para cada etiqueta de verdad fundamental $y$ en la etapa $t$, se calcula un centroide $c_{t,y}$ promediando los embeddings de los textos en ese grupo.
• Separación ($S_t$): La distancia euclidiana media entre todos los pares de centroides de etiquetas.
• Compresión ($C_t$): El porcentaje de reducción en la separación respecto a la etapa de entrada: $C_t = \frac{S_{input} - S_t}{S_{input}} \times 100$.

Variantes Experimentales:
Para aislar los impulsores causales, los autores probaron cinco variantes del Evaluador:

1. Original (Crítico): Evaluación crítica estándar.
2. Equilibrado: Análisis de pros y contras.
3. Apoyo a la Credibilidad: Busca características que apoyen la credibilidad de la afirmación.
4. Numérico: Convierte la evaluación en una puntuación de 1 a 10.
5. Paso de Identidad: Pasa la salida del Colector sin cambios.
6. Evaluador Eliminado: Flujo directo de Colector a Decisor.

Además, se probó un gradiente de prompt de 20 niveles para analizar la relación entre la intensidad de la transformación y la compresión.

Resultados Clave

1. Localización de la Compresión

• Etapa del Colector: La separación inter-etiqueta se mantuvo casi sin cambios (0.4345 a 0.4364, -0.4% de compresión), lo que indica que el paso de recolección neutral es transparente.
• Etapa del Evaluador: La separación cayó significativamente de 0.4345 a 0.2534, lo que representa una compresión del 41.7%. Esto localiza el modo de fallo específicamente en la transformación evaluativa.
• Similitud de Coseno: Post-evaluación, la similitud inter-etiqueta (0.93–0.96) superó la similitud intra-etiqueta (0.61–0.68), confirmando que las salidas de diferentes categorías se volvieron más similares entre sí que con los miembros de su propia categoría.

2. Impulsores Causales

• Transformación vs. Cascada: El paso de identidad y la eliminación completa del Evaluador no resultaron en compresión. Esto demuestra que la compresión no es causada por la mera presencia de una etapa intermedia de LLM, sino por la transformación semántica orientada realizada por el Evaluador.
• Dirección vs. Magnitud: La variante de Apoyo a la Credibilidad produjo una compresión geométrica mínima (~1%) pero desplazó la distribución de salida hacia "mayormente cierto" (42%). En contraste, la variante Crítica produjo una alta compresión (41.7%) y desplazó las salidas hacia "medio cierto" (60%). Esto demuestra que la compresión geométrica (pérdida de separabilidad) y el sesgo de distribución (dirección del colapso) son fenómenos distintos controlados por la valencia de la evaluación.

3. Predictores y Generalización

• Predictores de Prompt: Un modelo de regresión múltiple explicó el 78% de la varianza en la compresión utilizando tres predictores:
  1. Distancia de embedding desde el prompt de identidad.
  2. Número de palabras evaluativas.
  3. Número de restricciones operativas.
  • Hallazgo: Los prompts con más restricciones operativas se asociaron con una menor compresión, lo que sugiere que las instrucciones específicas preservan mejor las distinciones que los prompts evaluativos genéricos.
• Generalización Trans-dominio: La compresión ocurrió en los tres dominios pero con distinta intensidad:
  • Verificación de hechos (LIAR): 41.7%
  • Sentimiento (SST-5): 27.2%
  • Triaje (Triagegeist): 20.0%
  • Observación: Los dominios con más categorías operativas o señales de entrada más claras (como el triaje) parecieron menos vulnerables que los dominios evaluativos matizados (como la verificación de hechos).

Significancia y Reivindicaciones

El artículo afirma establecer la Compresión del Registro Semántico como un modo de fallo medible y generalizable en sistemas multi-agente de LLM. Sus principales contribuciones son:

1. Definición: Define la compresión del registro semántico como un fallo geomético específico donde los agentes intermedios colapsan las distinciones de categoría en el espacio de embeddings.
2. Herramienta de Diagnóstico: Introduce la separación inter-etiqueta como un diagnóstico por etapas para rastrear la pérdida de información dentro de una canalización, yendo más allá de la precisión de la salida final.
3. Aislamiento Causal: Aísla causalmente la transformación semántica evaluativa como el motor de la compresión, distinguiéndola de la simple cascada o la normalización de estilo.
4. Estrategia de Mitigación: Identifica las restricciones operativas en los prompts como una mitigación práctica, mostrando que las instrucciones específicas y ricas en restricciones pueden preservar mejor las distinciones relevantes para la decisión que las solicitudes evaluativas amplias.

Implicaciones para la Seguridad:
Los autores argumentan que la evaluación de seguridad para sistemas multi-agente debe extenderse más allá de la precisión final, los errores a nivel de traza o la competencia de los agentes individuales. En dominios de alto riesgo (verificación de hechos, triaje, gobernanza), una evaluación intermedia fluida pero estandarizada puede actuar como un cuello de botella semántico, reduciendo la sensibilidad descendente hacia casos extremos o de alto riesgo. El artículo postula que la evaluación de seguridad debería probar explícitamente si las transformaciones internas preservan las distinciones requeridas para las decisiones posteriores.

Limitaciones:
El estudio reconoce que es una caracterización empírica inicial. Las limitaciones incluyen el uso de muestras pequeñas (50 ejemplos por condición, aunque se usaron 500 para la replicación de la línea base), la dependencia de datos de triaje sintéticos y el uso de métricas de embedding como proxies de la separabilidad semántica en lugar de medidas absolutas de significado. Los autores señalan que es necesario un trabajo futuro para desentrañar la compresión semántica de los factores de forma superficial o de estilo.