More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists

Resumen Técnico: Robustez de Agentes LLM Multi-Agente ante Perturbaciones Adversariales

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) han demostrado un progreso notable en tareas de razonamiento, especialmente en matemáticas. Recientemente, se ha observado que tratar múltiples instancias de un LLM como "agentes" y combinar sus salidas mediante estrategias de votación o consenso (como Agent Forest) mejora significativamente la precisión en entradas limpias (Clean inputs).

Sin embargo, existe una preocupación crítica: ¿Son estos sistemas multi-agente más robustos frente a entradas perturbadas? La literatura previa indica que los LLM son frágiles ante cambios superficiales en el texto (ruido de puntuación, errores tipográficos humanos), lo que reduce drásticamente su precisión. El vacío de investigación que aborda este trabajo es determinar si la colaboración entre múltiples agentes mitiga esta vulnerabilidad o si, por el contrario, la brecha de robustez adversarial persiste independientemente del número de agentes.

2. Metodología

Los autores proponen un marco de evaluación unificado llamado Agent Forest, basado en una estrategia de muestreo y votación mayoritaria.

• Configuración Experimental:

  • Modelos: Se evaluaron seis modelos de código abierto de diferentes tamaños y familias: Qwen3 (4B, 14B), Llama3.1 (8B), Mistral-7B, y Gemma3 (4B, 12B).
  • Benchmarks: Cuatro conjuntos de datos de razonamiento matemático: GSM8K, MATH, MMLU (subconjunto de matemáticas) y MultiArith.
  • Número de Agentes ($n$): Se varió el número de agentes colaborativos en el conjunto $\{1, 2, 5, 10, 15, 20, 25\}$.
  • Mecanismo: Para cada pregunta, se generan $N$ respuestas independientes con el mismo modelo base y semillas aleatorias. La respuesta final se determina por votación mayoritaria de las respuestas normalizadas.

• Tipos de Ruido (Perturbaciones Adversariales):
  Se introdujeron perturbaciones controladas para simular errores del mundo real:

  1. Ruido de Puntuación Sintético: Inserción aleatoria de símbolos (., ,, !, etc.) en tres intensidades: 10%, 30% y 50% de la longitud de la pregunta.
  2. Errores Tipográficos Humanos (WikiTypo): Sustitución de palabras por errores ortográficos reales extraídos de los historiales de edición de Wikipedia.
  3. Ataque de Tipografía Adversarial (R2ATA): Perturbaciones generadas por el método Adversarial Typo Attack (ATA), que simulan errores comunes de teclado dirigidos a palabras clave.

• Métricas:

  • Precisión (Accuracy): Porcentaje de respuestas correctas.
  • Tasa de Éxito del Ataque (ASR): La fracción de predicciones que eran correctas en el entorno limpio pero que fallan tras aplicar el ruido. Un ASR más bajo indica mayor robustez.

3. Contribuciones Clave

1. Evaluación Sistemática de la Robustez Multi-Agente: Es uno de los primeros estudios que cuantifica rigurosamente cómo escala la robustez adversarial al aumentar el número de agentes en tareas matemáticas, utilizando un marco de votación simple pero efectivo.
2. Taxonomía de Ruido: Establece una distinción clara entre el impacto del ruido sintético (puntuación) y el ruido humano real (tipografías), demostrando que no todos los ruidos afectan a los modelos de la misma manera.
3. Identificación de la "Paradoja del Consenso": El trabajo revela que, aunque la votación corrige errores aleatorios, falla ante sesgos sistemáticos introducidos por perturbaciones adversariales, donde todos los agentes tienden a fallar de la misma manera.

4. Resultados Principales

• Mejora de Precisión vs. Persistencia de la Brecha de Robustez:

  • Aumentar el número de agentes ($n$) mejora consistentemente la precisión general. El mayor salto ocurre entre $n=1$ y $n=5$, con rendimientos decrecientes más allá de $n \approx 10$.
  • Hallazgo Crítico: A pesar de la mejora en la precisión absoluta, la brecha de robustez adversarial persiste. La ASR (Tasa de Éxito del Ataque) se mantiene casi estable a medida que aumenta el número de agentes. Esto significa que si un agente individual falla debido al ruido, es muy probable que todos los agentes en el conjunto fallen de la misma manera, anulando el beneficio de la votación.

• Impacto del Tipo de Ruido:

  • Ruido de Puntuación: El daño escala con la intensidad (10% < 30% < 50%), pero la colaboración entre 5-10 agentes logra neutralizar gran parte de este impacto, recuperando gran parte de la precisión perdida.
  • Errores Tipográficos Humanos (WikiTypo): Representan el cuello de botella dominante. Incluso con 25 agentes, los errores humanos causan la mayor caída de precisión y la ASR más alta. Estos errores alteran la representación semántica en el espacio de embeddings de manera que la votación no puede corregir.
  • R2ATA: Se sitúa en un punto intermedio, siendo más dañino que la puntuación pero menos que los errores humanos.

• Análisis por Dataset y Modelo:

  • Los datasets más difíciles (MATH, MMLU) muestran ASR más altos y una recuperación incompleta incluso con muchos agentes.
  • Los datasets más sencillos (GSM8K, MultiArith) se benefician más de la colaboración y tienen ASR más bajos.
  • No hay una correlación estricta entre el tamaño del modelo y la robustez; sin embargo, los modelos más grandes (Qwen3-14B, Gemma3-12B) tienden a tener una ASR ligeramente menor (más robustos) que sus contrapartes más pequeñas.

5. Discusión y Significado

• Ruido Semántico vs. Morfológico: Los autores atribuyen la persistencia de los errores en los typos humanos a la degradación de la integridad semántica durante la tokenización. Mientras que la puntuación extraña a menudo preserva la raíz morfológica de las palabras clave, los errores de escritura reales pueden mapear tokens a conceptos no relacionados o fuera del vocabulario, creando una divergencia que el mecanismo de atención del modelo no puede superar.
• La Paradoja del Consenso: La teoría de ensembles asume que los errores de los agentes son estadísticamente independientes. Sin embargo, el ruido adversarial introduce un sesgo sistemático. Esto fuerza a todos los agentes a converger en el mismo modo de fallo, haciendo que el mecanismo de consenso replique el error en lugar de mitigarlo.
• Implicaciones para el Despliegue:
  • Advertencia de Seguridad: Escalar el número de agentes ("More Agents") no es un sustituto de mejorar la robustez del modelo base. En entornos de alto riesgo (finanzas, medicina, legal), la dependencia de sistemas multi-agente sin protección contra errores humanos (tipografías) representa un riesgo de fiabilidad severo.
  • Futuras Direcciones: Se sugiere la necesidad de tokenización robusta al ruido, pre-procesamiento de guardias, y técnicas de entrenamiento específicas para errores tipográficos humanos.

Conclusión

El estudio concluye que, aunque la colaboración multi-agente es una herramienta poderosa para mejorar la precisión en razonamiento matemático, no resuelve la vulnerabilidad fundamental de los LLM ante perturbaciones adversariales de tipo humano. La brecha de robustez persiste independientemente del número de agentes, destacando la necesidad de abordar la robustez a nivel de modelo base y tokenización antes de confiar en sistemas de agentes escalados para aplicaciones críticas.