Impact of Task Phrasing on Presumptions in Large Language Models

1. Planteamiento del Problema

El artículo aborda un problema crítico de seguridad y fiabilidad en el despliegue de Modelos de Lenguaje Grandes (LLM) para tareas de IA agente: la susceptibilidad de los LLM a las "presunciones" derivadas del conocimiento preentrenado y de la formulación de la tarea.

• El Problema Central: Los LLM se entrenan con vastos conjuntos de datos que contienen escenarios comunes (por ejemplo, el Dilema del Prisionero Iterado). Cuando se les presenta una tarea, a menudo dependen de estas presunciones internas en lugar de adherirse estrictamente a los parámetros específicos proporcionados en el prompt.
• El Riesgo: En aplicaciones del mundo real donde los parámetros de la tarea pueden desviarse de las suposiciones estándar (por ejemplo, estructuras de recompensa alteradas), un LLM que depende de presunciones puede tomar decisiones subóptimas o ilógicas, incluso cuando se le instruye explícitamente a razonar.
• Pregunta de Investigación: ¿Adaptan los LLM su toma de decisiones a parámetros de tarea específicos y alterados, o recurren por defecto a estrategias "aprendidas" asociadas con el nombre o el contexto de la tarea?

2. Metodología

Los autores investigaron este fenómeno utilizando el Dilema del Prisionero Iterado (DPI) como estudio de caso controlado.

Diseño Experimental

El estudio utilizó dos modelos:

1. GPT-4o (Código cerrado)
2. Mistral-Nemo-Instruct-2407 (Código abierto)

Los experimentos se realizaron bajo dos condiciones de matriz de recompensas:

• Matriz Estándar: La estructura clásica de pagos del DPI (Cooperación/Cooperación = 1 año; Traición/Cooperación = 0/5 años, etc.).
• Matriz Invertida: Las recompensas y penalizaciones se invirtieron (por ejemplo, la Traición Mutua resulta en 1 año, la Cooperación Mutua resulta en 3 años). En una matriz invertida, la estrategia óptima lógica se invierte.

El estudio se dividió en tres fases para aislar el impacto de la formulación:

• Experimento 1 (Contexto DPI Explícito): El prompt indicaba explícitamente "Estás jugando un Dilema del Prisionero Iterado". Los modelos se probaron con y sin "Cadena de Pensamiento" (pasos de razonamiento).
• Experimento 2 (Contexto Implícito): El prompt eliminó la frase "Dilema del Prisionero Iterado" pero conservó los términos "prisionero", "cooperar" y "traicionar", junto con las reglas estándar de recompensa.
• Experimento 3 (Formulación Neutral/Simbólica): El prompt eliminó toda la terminología específica del DPI.
  • "Prisioneros" $\rightarrow$ "Jugadores"
  • "Cooperar/Traicionar" $\rightarrow$ "Elección X/Y"
  • "Años de prisión" $\rightarrow$ "Dólares perdidos"
  • La matriz de recompensas se presentó puramente como un conjunto de reglas para X e Y.

Métricas: La métrica principal fue la tasa de traición (o tasa de selección equivalente de "Y") en la primera ronda del juego.

• Hipótesis: Si el modelo es lógico, la tasa de traición debería invertirse cuando se invierte la matriz. Si el modelo depende de presunciones, la tasa de traición se mantendrá constante independientemente del cambio en la matriz.

3. Resultados Clave

Experimento 1: Contexto DPI Explícito

• Resultado: Tanto GPT-4o como Mistral-Nemo mostraron una tasa de traición del 0% en las condiciones Estándar e Invertida.
• Análisis: Los modelos ignoraron completamente la matriz de recompensas invertida. Sus pasos de razonamiento revelaron que recurrieron por defecto a la estrategia "Tit-for-Tat" (comenzar cooperando), una heurística bien conocida para el DPI estándar. No lograron adaptarse a los incentivos alterados.
• Observación: La inclusión de pasos de razonamiento no previno este fallo; de hecho, los modelos utilizaron el razonamiento para justificar su elección basada en presunciones.

Experimento 2: Contexto Implícito (Términos conservados)

• Resultado:
  • Mistral-Nemo: Se mantuvo en una tasa de traición de ~0% en ambas condiciones (no logró adaptarse).
  • GPT-4o: Mostró una adaptación parcial. La tasa de traición aumentó del 0% (Estándar) al 0.35% (Invertida con razonamiento) y al 0.70% (Invertida sin razonamiento).
• Análisis: GPT-4o comenzó a inferir las reglas pero aún tuvo dificultades. Incluso con razonamiento, a menudo alucinó las reglas o no logró invertir completamente su estrategia, lo que sugiere que la presencia de términos como "prisionero" y "cooperar" aún activó fuertes sesgos previos.

Experimento 3: Formulación Neutral/Simbólica

• Resultado: Ambos modelos demostraron una adaptación significativa.
  • GPT-4o: La tasa de traición cambió de 0.05 (Estándar) a 1.00 (Invertida).
  • Mistral-Nemo: La tasa de traición cambió de 0.11 (Estándar) a 0.75 (Invertida).
• Análisis: Cuando se eliminó la terminología específica del DPI y se reemplazó con variables abstractas (X/Y), los modelos analizaron con éxito la matriz de recompensas proporcionada e invirtieron su estrategia para alinearse con los nuevos incentivos.
• Matiz: GPT-4o aún ocasionalmente infería que "Y" equivalía a "cooperar" basándose en la estructura, lo que indica que persiste alguna presunción residual, pero la adherencia lógica a las reglas explícitas del prompt mejoró enormemente.

4. Contribuciones Clave

1. Demostración del Sesgo de Presunción: El artículo proporciona evidencia empírica de que los LLM a menudo priorizan el conocimiento preentrenado (por ejemplo, "Tit-for-Tat es la mejor estrategia para el DPI") sobre parámetros de tarea explícitos y contradictorios.
2. La "Trampa del Razonamiento": Un hallazgo contra intuitivo de que el razonamiento de Cadena de Pensamiento (CoT) no necesariamente mitiga el sesgo de presunción. En el Experimento 1, los pasos de razonamiento se utilizaron para racionalizar la estrategia incorrecta basada en presunciones en lugar de corregirla.
3. Sensibilidad a la Formulación: El estudio cuantifica cómo palabras clave específicas ("Dilema del Prisionero", "Cooperar") actúan como desencadenantes de sesgos latentes, mientras que una formulación neutral y simbólica obliga al modelo a depender del contexto inmediato.
4. Marco Metodológico: Un diseño experimental de tres fases aísla eficazmente el impacto del contexto semántico de la adherencia a reglas lógicas.

5. Significado e Implicaciones

• Seguridad en IA Agente: Para agentes de IA que operan en entornos dinámicos y del mundo real (por ejemplo, atención médica, finanzas), depender de suposiciones "estándar" puede ser peligroso. Si un agente asume un perfil de riesgo estándar pero el entorno cambia, puede fallar catastróficamente.
• Mejores Prácticas en Ingeniería de Prompts: Los autores concluyen que, para garantizar la fiabilidad, las descripciones de tareas deben ser simbólicas y neutrales. Evitar referencias a escenarios bien estudiados (como el DPI, el ajedrez o diagnósticos médicos específicos) evita que el modelo "rellene los espacios en blanco" con sus datos de entrenamiento.
• Limitaciones de los LLM Actuales: Los resultados sugieren que las capacidades de razonamiento actuales no son lo suficientemente robustas para anular fuertes priores cuando el contexto de la tarea está cargado semánticamente. Los modelos son "rígidos contextualmente" en lugar de "flexibles lógicamente" cuando se invocan conceptos familiares.

En resumen, el artículo argumenta que la formulación de la tarea es una variable de control crítica en el despliegue de LLM. Para lograr una adaptabilidad real, los desarrolladores deben eliminar los desencadenantes semánticos que invitan a presunciones, obligando al modelo a interactuar estrictamente con las restricciones lógicas proporcionadas.