When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation

Resumen Técnico: ¿Cuándo Tratan los Agentes de LLM el Ruido Superficial de Forma Diferente al Ruido Semántico?

Enunciado del Problema
Los agentes de modelos de lenguaje grandes (LLM) desplegados en tareas de razonamiento de múltiples pasos, matemáticas y recuperación a menudo encuentran entradas perturbadas por sistemas aguas arriba (parafraseo, plantillas) o adversarios. Una pregunta abierta crítica es si estos agentes tratan el ruido léxico (operadores de presentación como reordenamiento, formateo o adición de distractores) y el ruido semántico (operadores portadores de significado como parafraseo o sustitución de sinónimos) como equivalentes. Trabajos anteriores sobre robustez a perturbaciones se han centrado en gran medida en modelos de un solo paso o tasas de éxito brutas, sin aislar una brecha direccional entre perturbaciones portadoras de significado y perturbaciones de presentación en trayectorias de agentes de múltiples pasos. Este artículo investiga si las perturbaciones semánticas causan tasas de inconsistencia significativamente más altas en las respuestas finales en comparación con las perturbaciones de presentación de severidad comparable.

Metodología
Los autores realizan un estudio de medición a gran escala que involucra 68 celdas (combinaciones de 10 LLM de 7 familias de arquitecturas, 3 benchmarks y 2 andamios de razonamiento) y una validación en un modelo de reserva en un 11.º modelo.

• Modelos y Benchmarks: El panel incluye modelos de pesos abiertos (Qwen2.5, Llama-3.2/3.1, Mistral, Gemma2) y APIs comerciales (MiMo-v2.5-Pro, Gemini-2.5-Flash, DeepSeek-V3). Los benchmarks son GSM8K, MATH y HotpotQA. Los andamios son Cadena de Pensamiento (CoT) y ReAct.
• Operadores de Perturbación: Se utilizan cinco operadores:
  • Portadores de significado: Parafraseo (reescritura completa de la pregunta), Sinónimo (sustitución de palabras de clase abierta).
  • Presentación: Reordenar (permutación de tokens/cláusulas), Formato (espacios en blanco/mayúsculas y minúsculas), Distractor (inserción de contexto irrelevante).
  • Todos los operadores preservan la respuesta dorada; un juez de equivalencia filtra las variantes que alteran la pregunta subyacente.
• Métricas:
  • Tasa de Inconsistencia (IR): La tasa a la que la respuesta final del agente cambia entre la versión original y la variante perturbada.
  • La Brecha ($\Delta$): Definida como $IR_{sem} - IR_{sur}$, donde $IR_{sem}$ promedia sobre operadores portadores de significado y $IR_{sur}$ sobre operadores de presentación.
  • Profundidad de Cascada: El número de pasos consecutivos después de la primera divergencia donde la traza perturbada no coincide con ningún paso original subsiguiente.
• Robustez y Validación:
  • Emparejamiento de Severidad: Las variantes se agrupan por distancia de edición, Jaccard de tokens, coseno de Sentence-BERT y ratio de cambio de longitud para asegurar que las perturbaciones portadoras de significado y de presentación sean de severidad comparable.
  • Pruebas Estadísticas: Se utiliza bootstrap de conglomerados salvajes (K=10 modelos, K=7 familias) para abordar problemas de inferencia en conglomerados pequeños. Se aplica bootstrap jerárquico a datos de trayectorias anidados.
  • Generadores y Jueces: Se utilizan intercambios de generadores entre familias (Qwen vs. MiMo) y un segundo juez LLM (MiMo vs. Qwen) para auditar la generalización y el sesgo.
  • Validación en Reserva: Una ejecución totalmente independiente en qwen2.5-14B-Instruct (1.800 trayectorias) valida los hallazgos sin ningún ajuste de parámetros.

Resultados Clave

1. Brecha de Inconsistencia Direccional: En todo el panel de 68 celdas, la brecha media emparejada por severidad es de +19,69 puntos porcentuales (pp) ($p < 0,0001$), con 64 de 68 celdas mostrando una brecha positiva. Esto indica que los agentes son significativamente más propensos a cambiar su respuesta final cuando la entrada está perturbada semánticamente que cuando está perturbada en su presentación, incluso cuando la severidad está emparejada.
2. Robustez ante Definiciones de Severidad: La brecha permanece estable (+18,9 a +20,9 pp) a través de cuatro proxies de severidad diferentes (Distancia de Edición, Jaccard de Tokens, Sentence-BERT, Cambio de Longitud), confirmando que el efecto no es un artefacto de una sola métrica.
3. Condiciones de Límite:
   • Inferencia en Conglomerados Pequeños: La brecha no es significativa bajo bootstrap de conglomerados salvajes a nivel de modelo (K=10) o de familia (K=7), lo que indica que el hallazgo es descriptivo del panel específico en lugar de un efecto causal identificado universalmente.
   • Tractabilidad: Los proxies de tractabilidad dentro del benchmark (por ejemplo, múltiples rutas vs. ruta única) no logran identificar un contraste significativo (0/3 significativos). Los autores retractan afirmaciones anteriores de que "la topología condiciona la dicotomía".
   • Dependencia del Generador: Los intercambios de generadores entre familias destruyen la clasificación por celda (Spearman $\rho \approx 0,14$), mientras que los intercambios dentro de la familia la preservan. La magnitud específica de $\Delta$ es condicional al generador.
4. Validación en Reserva: El 11.º modelo (qwen2.5-14B) replica la dirección de la partición capacidad $\times$ tractabilidad (3/4 celdas del Grupo A positivas) pero no la magnitud (media +1,08 pp frente a +19,69 pp), probablemente debido a la alta capacidad base del modelo en reserva y su baja sensibilidad al ruido superficial.
5. Análisis de Mecanismos (Divergencia Encubierta): El análisis a nivel de traza en el modelo en reserva revela un mecanismo de "divergencia encubierta":
   • M3 (Profundidad de Cascada): Las perturbaciones semánticas se propagan 0,17 pasos más profundamente que las perturbaciones de presentación ($p = 2,5 \times 10^{-14}$).
   • M4 (Similitud de Pensamiento): Las perturbaciones semánticas dejan intacta la primera acción pero corrompen el contenido del pensamiento intermedio desde el Paso 2 en adelante, con una brecha de similitud por paso de -5,6 a -10,5 pp.
   • Retracciones: Dos afirmaciones previas de mecanismos se retractan explícitamente: M1 (las perturbaciones semánticas divergen antes) y M2 (las perturbaciones semánticas se autocorrigen con menos frecuencia) no lograron replicarse en el modelo en reserva.

Significado y Afirmaciones
El artículo se posiciona principalmente como una contribución de medición. Documenta un fenómeno empírico robusto donde los agentes de LLM exhiben una sensibilidad sistemáticamente diferente al ruido semántico frente al ruido superficial en el razonamiento de múltiples pasos.

• Implicación de Ingeniería: Los hallazgos sugieren que las estrategias de normalización de entradas deberían priorizar el manejo de perturbaciones portadoras de significado (parafraseos, sinónimos) sobre el ruido de presentación, ya que las primeras impulsan tasas de inconsistencia más altas.
• Contribución Metodológica: El estudio proporciona un marco riguroso para medir la sensibilidad a perturbaciones en agentes, incluido el emparejamiento de severidad, el análisis de cascada a nivel de traza y el informe honesto de afirmaciones de mecanismos no replicables (M1, M2).
• Limitaciones: Los autores enfatizan que los coeficientes de regresión no sobreviven a una inferencia estricta en conglomerados pequeños (bootstrap salvaje), lo que significa que los resultados son asociaciones descriptivas para el panel probado en lugar de efectos causales identificados. La herramienta de diagnóstico (AgentDiff-Probe v2) es un prototipo cuya precisión de signo iguala la base trivial, y los autores advierten contra su uso como único filtro para el despliegue en producción.

El trabajo evita explícitamente afirmar la generalización entre familias de la magnitud específica de la brecha y retracta afirmaciones anteriores de monotonicidad lineal en relación con la capacidad, reencuadrando la relación como una puerta binaria en benchmarks tratables. Todo el código, los datos y los scripts se han publicado para su revisión.