Resumen Técnico: Menos Idas y Vueltas: Un Estudio Comparativo de la Prompting Estructurada

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más para tareas de apertura como resumen, planificación, explicación y codificación. Sin embargo, las instrucciones poco especificadas o vagas a menudo conducen a respuestas de baja calidad, lo que requiere interacción adicional del usuario para corregir errores o refinar los resultados. Este "ida y vuelta" incrementa el esfuerzo del usuario y el costo de interacción. Aunque se entiende informalmente que mejores instrucciones producen mejores resultados, existe una brecha práctica en la evidencia sobre la eficacia comparativa de diferentes estrategias de prompting. Específicamente, sigue sin estar claro si los beneficios de simplemente reescribir una instrucción (prompting estructurado) superan o difieren de los enfoques de aclaración interactiva (donde el modelo hace preguntas primero), y si estos efectos son consistentes entre diferentes tipos de tareas y arquitecturas de LLM.

Metodología

El estudio emplea un diseño comparativo a pequeña escala para evaluar tres condiciones de instrucción distintas a través de cuatro categorías de tareas (resumen, planificación, explicación y codificación) y tres sistemas LLM (ChatGPT, Claude y Grok).

Condiciones Experimentales

1. Instrucción Cruda: Una condición base donde un humano escribe una instrucción corta y directa como lo haría un usuario típico, omitiendo intencionalmente detalles específicos, roles o restricciones de formato.
2. Instrucción Mejorada con Lista de Verificación: La instrucción cruda se reescribe utilizando una lista de verificación estructurada que comprende tres elementos:
   • Roles/Reglas: Definir la persona o las restricciones del modelo.
   • Contexto: Explicar la audiencia y el propósito de la tarea.
   • Formato de Respuesta: Especificar la estructura de salida deseada.
3. Instrucción de Pregunta de Aclaración: Se instruye al modelo para que haga 1–3 preguntas de aclaración antes de generar una respuesta final. La interacción continúa hasta que el usuario responde, momento en el cual el modelo proporciona la salida final.

Métricas de Evaluación

• Calidad de la Salida: Evaluada mediante una rúbrica unificada que puntúa cuatro dimensiones (Completitud de la Tarea, Correctitud, Cumplimiento, Claridad) en una escala de 0–2, arrojando una puntuación total de 0–8. Las puntuaciones se mapean a cinco niveles interpretativos (Fallo Total a Impecable).
• Esfuerzo de Interacción: Medido por "vueltas hasta la aceptación" (donde una vuelta equivale a un mensaje de usuario y una respuesta del modelo) y el uso total de tokens (entrada + salida).
• Procedimiento: Cada condición se ejecutó en una sesión nueva para evitar la transferencia de contexto. Tres operadores humanos evaluaron los modelos (uno por modelo) utilizando la misma rúbrica. Los conteos de tokens se registraron utilizando tokenizadores específicos de cada modelo.

Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Marco Comparativo: Presenta un marco controlado para comparar tres estrategias comunes de prompting (cruda, lista de verificación y aclaración interactiva) a través de múltiples modelos y tareas.
2. Análisis de Estabilidad Transversal entre Modelos: Prueba si la eficacia del prompting estructurado permanece estable a través de diferentes sistemas LLM (ChatGPT, Claude, Grok) y diversos tipos de tareas.
3. Evaluación con Doble Métrica: Evalúa simultáneamente la calidad de la respuesta final y el costo de interacción, en lugar de tratarlos como preocupaciones separadas, proporcionando una visión holística del compromiso calidad-esfuerzo.

Resultados

El estudio arrojó los siguientes hallazgos:

• Rendimiento de Calidad: Las instrucciones mejoradas con lista de verificación lograron la puntuación media más alta en la rúbrica (7.50/8), superando significativamente a las instrucciones crudas (5.67/8) y a las instrucciones de pregunta de aclaración (6.67/8).
• Eficiencia de Interacción: Las instrucciones con lista de verificación requirieron un promedio de 1.00 vuelta hasta la aceptación, igualando la línea base de la instrucción cruda pero con una calidad vastamente superior. En contraste, las instrucciones de pregunta de aclaración requirieron un promedio de 1.96 vueltas debido al intercambio inicial de pregunta-respuesta.
• Uso de Tokens: Las instrucciones con lista de verificación demostraron el mejor compromiso calidad-esfuerzo en cuanto al uso de tokens, promediando 683.42 tokens, en comparación con 962.25 para las instrucciones crudas y 936.50 para las instrucciones de aclaración.
• Variabilidad por Tarea y Modelo:
  • Tipos de Tarea: La condición de lista de verificación mostró las mayores ganancias en codificación (mejorando de 4.67 a 7.83) y planificación. Para el resumen, las instrucciones con lista de verificación y las de aclaración funcionaron igual de bien.
  • Diferencias entre Modelos: ChatGPT y Grok lograron sus puntuaciones más altas con instrucciones de lista de verificación. Claude obtuvo un rendimiento ligeramente mejor con instrucciones de aclaración que con listas de verificación, aunque las listas de verificación aún requirieron menos vueltas en general.
• Validación de Hipótesis:
  • H1 (Lista de Verificación > Cruda): Apoyada. Las listas de verificación produjeron salidas de mayor calidad.
  • H2 (Aclaración > Cruda y Lista de Verificación): Parcialmente apoyada. La aclaración mejoró sobre las instrucciones crudas pero no superó a las instrucciones con lista de verificación en general.
  • H3 (Esfuerzo Reducido): Apoyada para las listas de verificación (alta calidad en una vuelta) pero no para las instrucciones de aclaración (las cuales aumentaron las vueltas de interacción).

Significado y Afirmaciones

El artículo afirma que una simple lista de verificación de instrucciones —especificando roles, contexto y formato de respuesta— puede mejorar significativamente la calidad de la respuesta del LLM mientras reduce la interacción innecesaria. Los hallazgos sugieren que el prompting estructurado ofrece un equilibrio superior entre la calidad de salida y el esfuerzo de interacción en comparación tanto con las instrucciones crudas no estructuradas como con las estrategias de aclaración interactiva.

Los autores enfatizan que, aunque a menudo se asume que "mejores instrucciones" son beneficiosas, este estudio proporciona evidencia empírica de que las instrucciones mejoradas con lista de verificación son una estrategia más eficiente que depender de que el modelo haga preguntas de aclaración. El estudio concluye que incluso una guía estructural básica puede hacer que las respuestas del modelo sean más utilizables y aceptables en una sola vuelta, reduciendo así el "ida y vuelta" típico de la interacción humano-IA.

Limitaciones

Los autores reconocen varias limitaciones:

• El estudio tiene una escala limitada (cuatro tareas, tres modelos) y no debe generalizarse a todos los escenarios de prompting.
• Las puntuaciones de calidad dependen de la evaluación de los autores en lugar de evaluadores ciegos independientes o estudios con usuarios externos, lo que introduce una posible subjetividad.
• Las tareas de referencia pueden no representar completamente entornos empresariales complejos o situaciones del mundo real.
• Puede existir variación específica del operador, ya que cada modelo fue manejado por un único evaluador humano.

Se propone trabajo futuro para incluir participantes humanos externos, puntuaciones ciegas por pares y estudios de ablación para determinar qué componentes específicos de la lista de verificación (rol, contexto o formato) contribuyen más a las mejoras observadas.