Resumen Técnico: No juzgues un libro por su portada: Probando la robustez de los LLM bajo la ofuscación lógica

Declaración del Problema

A pesar de las impresionantes capacidades de los Modelos de Lenguaje Extensos (LLM) en tareas de razonamiento estándar —como resolver ecuaciones aritméticas, evaluar tablas de verdad y completar silogismos—, estos modelos exhiben una fragilidad significativa cuando se enfrentan a problemas lógicamente equivalentes presentados en formatos ofuscados. Mientras que los benchmarks actuales (por ejemplo, MMLU, BIG-Bench Hard) a menudo solo califican la respuesta final, permitiendo que los modelos tengan éxito mediante el reconocimiento de patrones superficiales o la memorización, estos fallan al distinguir entre el razonamiento lógico genuino y la recuperación de patrones de datos de entrenamiento.

El problema central abordado es la incapacidad de los LLM de última generación para mantener la consistencia del razonamiento cuando la forma superficial de un problema se altera mientras su estructura lógica subyacente permanece invariable. Como señalan críticos e investigadores (por ejemplo, Smolinski, 2024; Vafa et al., 2024), los modelos pueden producir salidas impresionantes sin recuperar el modelo de mundo subyacente, colapsando cuando se introducen simples desvíos o refraseos. Este artículo investiga si los LLM realmente razonan o simplemente explotan patrones memorizados mediante la prueba sistemática de su robustez contra la ofuscación lógica.

Metodología

El Marco Logifus

Para estudiar esta vulnerabilidad, los autores introducen Logifus, un marco de ofuscación lógica que preserva la estructura. Logifus funciona como un mapeo $f: Q \to Q'$, donde $Q$ es un conjunto de preguntas originales y $Q'$ es un conjunto de contrapartes lógicamente equivalentes pero sintácticamente diversas (ofuscadas). El principio central es que, mientras la representación lingüística o estructural de nivel superficial se altera, la solución correcta permanece invariante. Esto obliga a los modelos a involucrarse en un razonamiento más profundo en lugar de depender de la recuperación superficial.

El marco genera variantes ofuscadas a través de estrategias de transformación específicas adaptadas a diferentes dominios de razonamiento:

1. Equivalencias Lógicas: Aplicación de reglas como las leyes de De Morgan o la eliminación de la doble negación en premisas de Lógica de Primer Orden (FOL).
2. Cadenas Relacionales: Reescritura de declaraciones directas de parentesco en descripciones indirectas de múltiples pasos (por ejemplo, transformar "A es el hermano de B" a "A es el esposo de la cuñada de B").
3. Sustituciones Simbólicas: Reemplazo de valores numéricos en secuencias con tokens determinísticos pero opacos, tales como nombres de planetas, sumas ASCII de esos nombres o hashes MD5.
4. Desvíos Espaciales: Inserción de pares de vectores que se cancelan entre sí (por ejemplo, caminar al Norte y luego al Sur) en rutas de navegación para aumentar la complejidad sin cambiar el desplazamiento neto.

El Benchmark LogiQAte

Aprovechando Logifus, los autores presentan LogiQAte, un benchmark de diagnóstico que comprende 1,108 preguntas a través de cuatro tareas de razonamiento distintas:

1. Obfus FOL: 272 preguntas que evalúan la implicación de lógica de primer orden bajo reescrituras que preservan la equivalencia.
2. Obfus Blood Relation (Parentesco): 300 preguntas que prueban el razonamiento de grafos de parentesco bajo cadenas relacionales indirectas (Complejidad de Nivel 1 y Nivel 2).
3. Obfus Number Series (Series Numéricas): 284 preguntas que requieren la detección de patrones inductivos bajo sustituciones simbólicas (tipos de Nombre de Planeta, Suma ASCII y Hash MD5).
4. Obfus Direction Sense (Sentido de la Dirección): 252 preguntas que evalúan el razonamiento de navegación bajo alteración de direcciones y marcos de referencia.

Validación: Para asegurar la integridad, cada pregunta base y su versión ofuscada se sometieron a un riguroso proceso de validación que involucró a dos anotadores humanos y, para las tareas de FOL, al demostrador de teoremas automatizado Prover9. Esto aseguró una concordancia casi perfecta (Cohen's $\kappa > 0.88$) en la equivalencia lógica y la preservación de la conclusión.

Configuración de la Evaluación

El benchmark fue evaluado en nueve modelos de última generación (tanto de código abierto como de código cerrado), incluyendo modelos de propósito general (GPT-4o, Claude 3.7 Sonnet) y modelos enfocados en el razonamiento (GPT-5, o4-mini, Qwen QwQ-32B, Gemini 2.5 Pro). Las evaluaciones se realizaron bajo configuraciones de prompting zero-shot, few-shot y Chain-of-Thought (CoT) con una temperatura de 0.0. El rendimiento se midió utilizando la precisión de coincidencia exacta (Exact Match - EM).

Resultados Clave

Degradación del Rendimiento

En todas las tareas y modelos, la ofuscación lógica degrada severamente el rendimiento zero-shot.

• Caída Promedio: La caída promedio de rendimiento en todas las tareas y configuraciones fue del 28.8%.
• Especificidades de los Modelos:
  • GPT-4o: Cayó un 47% en promedio.
  • GPT-5: Cayó un 27% en promedio.
  • o4-mini: Cayó un 22% en promedio.
  • Modelos de Razonamiento: Incluso los modelos optimizados específicamente para el razonamiento (por ejemplo, GPT-5) experimentaron declives significativos, como caer del 98% al 56% en Obfus FOL (zero-shot).
  • Modelos de Propósito General: Experimentaron caídas más drásticas, con algunos casos mostrando declives de hasta el 87% (por ejemplo, GPT-4o en Obfus Number Series).

Vulnerabilidades por Tarea

• Obfus Blood Relation: Mostró un declive constante a medida que la complejidad aumentaba del Nivel 1 al Nivel 2. Por ejemplo, Claude 3.7 (CoT) cayó del 59% en preguntas base al 24% en la ofuscación de Nivel 2.
• Obfus Number Series: Resultó particularmente castigador para los modelos de propósito general, que tuvieron dificultades para identificar patrones cuando los números fueron reemplazados por nombres de planetas o hashes MD5.
• Obfus Direction Sense: Resaltó debilidades en el seguimiento de estados, con modelos fallando al filtrar desvíos que se cancelan a sí mismos.

Estrategias de Prompting

Las estrategias avanzadas de prompting como Few-shot y Chain-of-Thought (CoT) proporcionaron solo un alivio parcial, no robustez. Aunque CoT redujo la degradación de GPT-5 del 27% al 18.7%, el efecto fue inconsistente entre los modelos. Notablemente, los modelos más pequeños (por ejemplo, GPT-4o-mini, Llama-4-Maverick) exhibieron una fragilidad aún mayor, con la precisión colapsando significativamente bajo la ofuscación.

Análisis Mecanicista

Para comprender los modos de falla, los autores realizaron análisis intrínsecos en LLaMA 3.1 8B:

1. Sensibilidad a la Memorización: Utilizando la inferencia de membresía Min-K%++, el estudio encontró que las preguntas ofuscadas dispararon una mayor dependencia de los patrones memorizados. Los puntajes de AUROC de predicción aumentaron entre un 12–15% para Obfus FOL y un 20–25% para Obfus Blood Relation, lo que indica que los modelos dependen más fuertemente de los patrones de los datos de entrenamiento cuando las formas superficiales se oscurecen.
2. Confianza por Capa: El análisis de las probabilidades logarítmicas del siguiente token reveló un colapso de confianza del 50–80% en las capas tardías (28–31) del transformador al procesar preguntas ofuscadas en comparación con las preguntas base. Esto sugiere que la ofuscación interrumpe la consolidación semántica profunda requerida para un razonamiento genuino.

Significado y Contribuciones

El artículo realiza tres contribuciones principales:

1. Logifus: Un nuevo algoritmo de preservación de estructura para generar preguntas lógicamente ofuscadas que mantienen la equivalencia lógica mientras alteran la sintaxis superficial.
2. LogiQAte: El primer benchmark de su tipo que diagnostica mediante 1,108 preguntas en cuatro tareas de razonamiento, diseñado para evaluar rigurosamente la robustez de los LLM frente a la ofuscación lógica.
3. Evidencia Empírica: Un análisis exhaustivo que demuestra que los LLM actuales, incluidos los modelos de razonamiento de última generación, analizan las preguntas sin una comprensión profunda. Los hallazgos resaltan una brecha crítica entre el reconocimiento de patrones y el razonamiento robusto, mostrando que los modelos fallan cuando la "portada" del problema cambia, incluso si el "contenido" (la lógica) permanece igual.

Los autores concluyen que la degradación observada subraya la urgencia de construir modelos que comprendan genuinamente y preserven el significado más allá de la forma superficial, en lugar de simplemente memorizar y hacer coincidir patrones aprendidos de los datos de entrenamiento.

Limitaciones

Los autores señalan que LogiQAte está limitado actualmente al inglés. El trabajo futuro tiene como objetivo expandir el conjunto de datos para incluir datos multilingües (particularmente lenguas de bajos recursos) y extender el marco a categorías de razonamiento adicionales como arreglos de asientos e inferencia de sentido común.