The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning

Resumen Técnico: Heurísticas Superficiales vs. Restricciones Implícitas en el Razonamiento de LLMs

1. El Problema: La Falacia de la Heurística Superficial

El artículo identifica un fallo sistemático en los Modelos de Lenguaje Grande (LLMs): cuando una pista superficial saliente (un heurístico) entra en conflicto con una restricción de viabilidad no declarada (implícita), los modelos tienden a ignorar la restricción lógica y seguir la pista superficial.

• Caso de Estudio Inicial (El Problema del Lavado de Coches): Un ejemplo viral ilustra el problema: "Quiero lavar mi coche. El lavado está a 50 metros. ¿Debo caminar o conducir?".
  • Respuesta Correcta: Conducir (porque el coche debe estar físicamente en el lavado para ser lavado; no se puede lavar un coche que está lejos).
  • Respuesta del Modelo: Casi todos los modelos (incluidos los más avanzados) recomiendan caminar, basándose en la heurística de que "distancia corta = caminar".
• Naturaleza del Error: A diferencia de las alucinaciones factuales (falta de conocimiento), este es un error de razonamiento. El modelo posee el conocimiento del mundo (sabe que los coches necesitan estar en el lavado), pero falla al activarlo porque la heurística superficial (distancia) domina el proceso de inferencia.

2. Metodología: Marco Diagnóstico-Intervención

Los autores proponen un marco de cuatro etapas: Diagnosticar, Medir, Puente y Tratar.

• Análisis Causal-Comportamental (Estudio 1):

  • Utilizaron oclusión causal (perturbación de entradas) en 6 modelos (Qwen3, GPT-OSS) para medir qué componentes del prompt influyen más en la decisión.
  • Definieron métricas como la Relación de Dominancia Heurística (HDR) y el Índice de Sensibilidad a la Restricción (CSI).
  • Analizaron curvas de monotonicidad variando la distancia (de 10m a 100km) para ver si el modelo sigue una función sigmoide independiente del contexto (heurística pura) o si modula su respuesta según el objetivo.

• Benchmark HOB (Heuristic Override Benchmark) (Estudio 2):

  • Crearon un conjunto de datos de 500 instancias que cruzan 4 familias de heurísticas (Proximidad, Eficiencia, Costo, Similitud Semántica) con 5 familias de restricciones (Presencia, Capacidad, Validez, Alcance, Procedimental).
  • Diseño de Pares Mínimos: Cada instancia tiene una versión donde la restricción se elimina, permitiendo aislar el razonamiento de la restricción de la comprensión superficial.
  • Evaluación estricta: Un modelo solo se considera correcto si acierta en las 10 repeticiones de una misma instancia.

• Sondas Paramétricas y Mitigación:

  • Probaron si el patrón de fallo se generaliza a otros tipos de heurísticas (costo, eficiencia).
  • Experimento de mitigación: Uso de descomposición de objetivos (pedir al modelo que enumere las condiciones previas antes de responder) para forzar la activación de la restricción.

3. Resultados Clave

• Dominancia Heurística Extrema:

  • En el problema del lavado de coches, la pista de distancia tiene 8.7 a 38 veces más influencia que el objetivo (ir al lavado).
  • Los modelos muestran curvas de decisión sigmoide que son casi independientes del contexto: a medida que aumenta la distancia, la probabilidad de "caminar" disminuye, ignorando por completo la necesidad física de que el coche esté en el lugar.
  • El análisis a nivel de token revela que el modelo responde más a asociaciones de palabras clave (ej. "coche" + "caminar" en contextos de distancia corta) que a una inferencia composicional lógica.

• Rendimiento en el Benchmark HOB:

  • Ningún modelo supera el 75% de precisión estricta (10/10 aciertos) en las 500 instancias. El mejor modelo (Gemini 3.1 Pro) alcanza un 74.6%.
  • Restricción más difícil: La familia C-pres (Presencia) es la más difícil de manejar (44.4% de precisión promedio), validando el patrón del lavado de coches a gran escala.
  • Sesgo Conservador: 12 de 14 modelos rinden peor cuando la restricción se elimina (ej. si el objetivo es "recoger una tarjeta de regalo" en lugar de "lavar el coche"). Esto indica que los modelos tienden a elegir la opción más difícil/segura por defecto cuando no tienen una restricción clara que guíe la decisión, en lugar de razonar dinámicamente.

• Gradiente de Explicitud:

  • Añadir una pista mínima (ej. enfatizar el objeto: "lavar mi coche") recupera un +15.3 puntos porcentuales de precisión. Esto sugiere que el fallo no es falta de conocimiento, sino una barrera en la inferencia (el modelo no activa el conocimiento relevante a menos que se le señale explícitamente).

• Mitigación Exitosa:

  • La instrucción de descomposición de objetivos ("Enumera las condiciones necesarias antes de responder") mejoró la precisión en +6 a +9 puntos en modelos medianos y grandes, confirmando que el problema es un orden de procesamiento deficiente.

4. Contribuciones Principales

1. Diagnóstico del Fallo de Razonamiento: Demostración empírica de que los LLMs aplican heurísticas superficiales (como "distancia corta = caminar") que anulan restricciones de viabilidad física implícitas, incluso en modelos de última generación.
2. HOB (Heuristic Override Benchmark): Un nuevo estándar de evaluación de 500 instancias que mide la capacidad de los modelos para priorizar restricciones implícitas sobre señales estadísticas dominantes, superando las métricas de precisión binaria tradicionales.
3. Caracterización del Comportamiento: Identificación de patrones de comportamiento universales (curvas sigmoide, dominancia heurística 38x) que persisten a través de diferentes arquitecturas y tamaños de modelo.
4. Estrategia de Mitigación: Evidencia de que forzar la enumeración de precondiciones (descomposición de objetivos) puede aliviar este fallo, sugiriendo que el problema es de orden de inferencia y no de capacidad de conocimiento.

5. Significado e Implicaciones

• Riesgo en Despliegue: Este tipo de error es peligroso en dominios críticos como la triage médica ("síntoma leve = esperar"), el razonamiento legal o la planificación financiera, donde las restricciones no declaradas son vitales y las señales superficiales pueden ser engañosas.
• Más allá del "Shortcut Learning": A diferencia del aprendizaje de atajos tradicional (donde eliminar una característica espuria corrige el modelo), aquí eliminar la heurística (la pista superficial) empeora el rendimiento del modelo. Esto conecta con el Problema del Marco (Frame Problem) clásico de la IA: la dificultad de determinar qué condiciones no declaradas son relevantes para una situación.
• Evaluación Futura: El artículo argumenta que la precisión bruta es insuficiente. Se necesitan métricas que evalúen la consistencia del razonamiento bajo perturbaciones y la capacidad de inferir restricciones implícitas, utilizando pares mínimos y gradientes de explicitud.

En conclusión, el paper revela que los LLMs actuales, a pesar de su fluidez y aparente coherencia, carecen de un mecanismo robusto para suprimir heurísticas estadísticas dominantes en favor de restricciones lógicas implícitas, un fallo que persiste incluso en los modelos más grandes y que requiere cambios en la estructura de procesamiento (como la descomposición de objetivos) para ser mitigado.