💻 computer science

Mind the Prompt: Self-adaptive Generation of Task Plan Explanations via LLMs

El artículo presenta COMPASS, un enfoque autoadaptativo que modela los estados cognitivos de los usuarios mediante un proceso de toma de decisiones probabilístico para automatizar la síntesis de prompts y generar explicaciones de planes de tareas más claras y fiables en sistemas complejos.

Autores originales: Gricel Vázquez, Alexandros Evangelidis, Sepeedeh Shahbeigi, Radu Calinescu, Simos Gerasimou

Publicado 2026-04-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gricel Vázquez, Alexandros Evangelidis, Sepeedeh Shahbeigi, Radu Calinescu, Simos Gerasimou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un chef de cocina muy inteligente (el modelo de IA) que puede cocinar platos increíbles (planificar tareas complejas para robots y humanos). Pero hay un problema: a veces, el chef habla un idioma técnico tan complicado que ni tú ni tu abuela pueden entender qué va a cocinar o por qué.

El paper que nos ocupa presenta a COMPASS, un nuevo "traductor y adaptador" que asegura que el chef siempre te explique su receta de la manera perfecta para ti.

Aquí tienes la explicación sencilla, usando analogías de la vida real:

1. El Problema: "Un solo tamaño no sirve para todos"

Imagina que estás en una obra de construcción. Tienes robots y humanos trabajando juntos.

Si le pides una explicación al ingeniero jefe, él quiere ver los planos técnicos, los cálculos de probabilidad y los costos exactos.
Si le pides la misma explicación a tu tía que viene a visitar, ella solo quiere saber: "¿Cuándo terminan? ¿Es seguro? ¿Quién hace qué?".

El problema es que las IAs actuales suelen dar la misma explicación para todos. Si le das una explicación técnica a tu tía, se aburrirá o se frustrará. Si le das una explicación infantil al ingeniero, se sentirá ofendido o no confiará en el plan. Además, si tu tía está cansada después de un largo día, ni siquiera quiere leer mucho, solo quiere los puntos clave.

2. La Solución: COMPASS (El "Maestro de Ceremonias" Cognitivo)

COMPASS es como un maestro de ceremonias súper atento que se pone entre el chef (la IA) y tú (el usuario). Su trabajo no es cocinar, sino escribir las instrucciones exactas para que el chef te hable como tú necesitas.

COMPASS hace tres cosas mágicas:

A. Lee la mente (sin magia negra)

COMPASS no necesita que leas un formulario largo. Observa cosas sutiles:

¿Quién eres? (¿Eres un experto o un novato?).
¿Cómo te sientes? (¿Estás alerta o cansado? ¿Entiendes rápido o necesitas ejemplos?).
¿Qué te gustó antes? (¿Aprobaste la última explicación o la rechazaste?).

Imagina que COMPASS es como un camarero experto. Si ve que te rascas la cabeza (confusión), cambia el tono. Si ve que estás mirando el reloj (cansancio), te da un resumen rápido. Si eres un sommelier (experto), te habla de los "taninos y el terroir" (datos técnicos).

B. El "Juego de Probabilidades" (El POMDP)

Para tomar estas decisiones, COMPASS usa una herramienta matemática llamada POMDP.

La analogía: Imagina que estás jugando a las cartas contra un oponente, pero no puedes ver sus cartas (su estado mental real: ¿está cansado? ¿está confundido?). Solo ves sus acciones (¿parpadea mucho? ¿hace clic rápido?).
COMPASS mantiene una "apuesta" (una probabilidad) sobre qué cartas tiene el oponente. Si el oponente hace una jugada que sugiere que está cansado, COMPASS ajusta sus apuestas y decide: "¡Mejor le doy una explicación corta y con viñetas!".

C. Aprende de tus "Sí" y "No"

Si le das a la IA una explicación y dices "No me gusta", COMPASS lo anota. La próxima vez, ajustará sus instrucciones para que el chef no vuelva a cometer el mismo error. Es como un entrenador deportivo que ve que el jugador falló un tiro libre y le dice: "La próxima vez, dobla más las rodillas".

3. ¿Cómo funciona en la práctica? (El caso de la obra)

Los autores probaron esto en dos escenarios reales:

Construcción: Robots y humanos construyendo un edificio.
Agricultura: Robots trabajando en un campo.

El proceso paso a paso:

Entrada: Un humano dice: "Necesito construir un edificio con estos robots".
Planificación: Un planificador automático crea el plan (qué robot hace qué).
Adaptación (Aquí entra COMPASS):
- Si pide la explicación un experto en robótica: COMPASS le dice a la IA: "Habla con tecnicismos, usa listas detalladas y sé formal".
- Si pide la explicación un administrador financiero: COMPASS le dice: "Habla de costos y riesgos, sé claro pero no tan técnico".
- Si pide la explicación un visitante no experto: COMPASS le dice: "Usa analogías simples, sé amigable y dale un resumen corto".
Cambio en tiempo real: Si el mismo experto, después de 8 horas de trabajo, pide otra explicación, COMPASS nota que su "atención" ha bajado (probablemente está cansado) y le da una versión más corta y directa, aunque siga siendo técnica.

4. Los Resultados: ¿Funcionó?

Los autores probaron esto con 32 personas reales.

Lo bueno: La gente entendió mucho mejor los planes cuando la explicación se adaptaba a su perfil y estado mental. Los expertos se sintieron respetados y los no expertos no se abrumaron.
El reto: A veces es difícil saber exactamente qué nivel de detalle es "demasiado" o "poco", y la IA a veces se equivoca al adivinar el estado mental del usuario. Pero el sistema aprende rápido con cada "sí" o "no".

En resumen

COMPASS es como tener un traductor personal inteligente para la Inteligencia Artificial. En lugar de que la IA te hable en un idioma robótico y rígido, COMPASS ajusta el tono, la longitud y el estilo de la explicación en tiempo real, basándose en quién eres, cómo te sientes y qué te gusta.

Es la diferencia entre que un médico te diga: "Tienes una fractura compuesta del fémur con desplazamiento medial" (técnico y frío) vs. "Tienes un hueso de la pierna roto que se ha movido un poco, así que necesitamos poner una férula" (claro y adaptado a ti). COMPASS hace que la IA sea capaz de hacer eso automáticamente.

1. El Problema

La integración de Modelos de Lenguaje Grande (LLMs) en sistemas de software complejos, como la planificación de tareas automatizada, ofrece la capacidad de generar explicaciones comprensibles para humanos sobre procesos de IA opacos. Sin embargo, la calidad y fiabilidad de estas explicaciones dependen críticamente de la ingeniería de prompts (instrucciones textuales).

Los desafíos principales identificados son:

Falta de sistematización: No existe una comprensión sistemática de cómo diferentes grupos de interesados (expertos en IA, gestores de proyectos, usuarios no expertos) formulan y refinan sus prompts.
Variabilidad cognitiva y contextual: Las necesidades informativas, capacidades cognitivas y preferencias interpretativas de los usuarios varían significativamente. Además, el estado cognitivo de un usuario (atención, fatiga, carga de trabajo) es dinámico y no observable directamente.
Limitaciones de los enfoques estáticos: Los prompts estáticos o genéricos a menudo generan explicaciones demasiado técnicas, insuficientes o desalineadas con el estado cognitivo actual del usuario.
Sesgos en la retroalimentación: Depender exclusivamente de la retroalimentación explícita del usuario es costoso cognitivamente y está sujeto a sesgos cognitivos (como la aversión a la pérdida o la preferencia por el estado actual).

2. Metodología: Enfoque COMPASS

Los autores proponen COMPASS (COgnitive Modelling for Prompt Automated SynthesiS), un enfoque de auto-adaptación que formaliza la ingeniería de prompts como un proceso de toma de decisiones cognitivo y probabilístico.

El sistema opera en dos etapas principales dentro de un ciclo de adaptación (MAPE-K):

A. Generación del Problema (Etapa S1)

Un Generador de Problemas de Planificación utiliza GenAI para convertir descripciones de problemas en lenguaje natural (provenientes de humanos) en formatos estructurados y ejecutables (ej. JSON o PDDL) compatibles con planificadores de IA externos (como Fast Downward o NSPH).
Se utiliza un ejemplo de "uno-shot" para garantizar la sintaxis correcta.

B. Síntesis Adaptativa de Explicaciones (Etapa S2)

Esta es la contribución central, donde se utiliza un Proceso de Decisión de Markov Parcialmente Observable (POMDP) para modelar la incertidumbre sobre el estado cognitivo del usuario.

Modelado POMDP:
- Estados Ocultos: Representan el estado cognitivo real del usuario (nivel de atención, comprensión), que no es directamente observable.
- Observaciones: Datos ruidosos derivados de perfiles de usuario, retroalimentación explícita (aceptar/rechazar) y predicciones de modelos de aprendizaje profundo (DNN) sobre el estado cognitivo.
- Acciones: La selección de elementos del prompt (niveles de detalle, tono, formato).
- Recompensas: Basadas en la teoría de la Prospecto (Prospect Theory), donde la utilidad de una explicación depende de su alineación con el estado cognitivo latente del usuario y su tasa de aceptación histórica. Se penalizan los desajustes.
Flujo de Trabajo:
1. Monitorización: Se recopilan datos del perfil del usuario, retroalimentación y predicciones cognitivas.
2. Generación de Modelo: Se construye un modelo POMDP específico para el perfil del usuario.
3. Síntesis de Política: Se utiliza verificación de modelos probabilísticos (herramienta PRISM) para calcular una política óptima ( $\sigma^*$ ) que maximiza la probabilidad esperada de aceptación de la explicación.
4. Generación del Prompt: La política selecciona los valores óptimos para los "slots" del prompt (ej. tono técnico vs. casual, lista vs. párrafo).
5. Generación de Explicación: Un LLM (como GPT-5, Gemini o DeepSeek) genera la explicación final basada en el prompt adaptado.

El sistema se adapta en tiempo real ante cambios en el perfil del usuario, nueva retroalimentación (aceptaciones/rechazos) o cambios en la predicción del estado cognitivo (ej. fatiga al final del turno).

3. Contribuciones Clave

Formalización Conceptual: La primera formalización de la generación de prompts para explicaciones de planificadores como un problema POMDP que captura tanto interacciones observables como estados cognitivos latentes.
Enfoque COMPASS: Un sistema auto-adaptativo que ajusta dinámicamente los prompts y las explicaciones basándose en retroalimentación, predicciones cognitivas y cambios contextuales.
Benchmark de Explicaciones: Generación de 72 explicaciones adaptadas a tres perfiles de interesados (experto en IA, experto de dominio, no experto) utilizando LLMs de vanguardia, variando tono, detalle y formato.
Validación Empírica: Demostración del concepto en dos estudios de caso de Sistemas Ciberfísicos (CPS): construcción y agricultura, validando la viabilidad de integrar cognición humana en la síntesis de prompts.

4. Resultados

El estudio se evaluó mediante dos estudios de caso (construcción y agricultura) y dos encuestas con usuarios (32 participantes en total).

Factibilidad (RQ1): Los LLMs evaluados (Gemini-2.5-Pro, GPT-5, DeepSeek-V3.2) generaron exitosamente archivos de entrada sintácticamente válidos para los planificadores en la mayoría de los casos. Se identificó que la falla en algunos casos se debió a definiciones de problemas incompletas, no a limitaciones del LLM.
Adaptación (RQ2): El sistema demostró capacidad para ajustar las explicaciones en tiempo real. Por ejemplo, cuando un experto en IA recibió múltiples rechazos a un formato de párrafo, el sistema cambió automáticamente a una lista paso a paso. Cuando se predijo fatiga cognitiva, el sistema redujo el nivel de detalle y simplificó la estructura.
Alineación (RQ3): Los usuarios percibieron que las explicaciones adaptadas eran más apropiadas. Hubo una tendencia positiva en la puntuación de adecuación (tono, detalle, formato) tras la adaptación para expertos en IA y no expertos, aunque los expertos de dominio mostraron resultados mixtos.
Personalización (RQ4): En una segunda encuesta, los participantes identificaron correctamente el perfil de usuario al que iba dirigida la explicación en un 49.8% (construcción) y 62.4% (agricultura) de los casos, significativamente por encima del azar (33.3%). Sin embargo, las explicaciones para "no expertos" fueron las más difíciles de clasificar, sugiriendo que el contenido técnico aún dominaba la percepción.

5. Significado e Impacto

El trabajo de COMPASS es significativo porque:

Cierra la brecha cognitiva: Propone un marco riguroso para manejar la incertidumbre sobre el estado mental del usuario, yendo más allá de las preferencias estáticas.
Reduce la carga cognitiva: Al adaptar la complejidad y el formato de la información según la fatiga o la atención del usuario, mejora la accesibilidad y la comprensión en entornos operativos reales.
Automatización de la ingeniería de prompts: Transforma la creación de prompts de un proceso manual y heurístico a uno automatizado, basado en modelos probabilísticos y verificación formal.
Aplicabilidad Industrial: Al validarse en escenarios de CPS (construcción y agricultura), demuestra que estas técnicas son viables para sistemas críticos donde la transparencia y la confianza son esenciales.

En conclusión, COMPASS demuestra que es posible integrar modelos de cognición humana y retroalimentación de usuarios en un ciclo de auto-adaptación para generar explicaciones de IA más efectivas, personalizadas y robustas.