What You Prompt is What You Get: Increasing Transparency of Prompting Using Prompt Cards

Resumen Técnico: What You Prompt Is What You Get

1. El Problema: Falta de Estandarización y Reproducibilidad en la Ingeniería de Prompts

El artículo identifica una crisis crítica en el campo de la ingeniería de prompts (la práctica de diseñar entradas para guiar a los Modelos de Lenguaje Grande o LLMs). A pesar del crecimiento exponencial en la publicación de artículos sobre el tema, el campo carece de:

• Documentación estandarizada: Los prompts suelen ser complejos, largos y difíciles de evaluar, especialmente en tareas subjetivas.
• Reproducibilidad: A diferencia de los modelos de aprendizaje automático tradicionales, el comportamiento de los LLMs es altamente sensible a la redacción, el orden y la estructura contextual del prompt. Pequeñas variaciones pueden generar resultados drásticamente diferentes.
• Limitaciones de los Benchmarks: Los métodos de evaluación estándar (benchmarks) a menudo fallan en tareas del mundo real. Además, sufren de contaminación de datos (los modelos se entrenan con los datos de prueba) y no capturan la complejidad de las pipelines de prompts que integran recuperación de información (RAG) y orquestación de agentes.
• Riesgos de Sesgo y Alucinación: La falta de transparencia en cómo se construyen los prompts dificulta la identificación de sesgos, alucinaciones y decisiones éticas implícitas que pueden tener consecuencias graves en sectores como la salud o la justicia.

2. Metodología: La Propuesta de las "Prompt Cards" (Tarjetas de Prompt)

Los autores proponen adaptar el concepto de "Model Cards" (tarjetas de modelo), introducido por Mitchell et al. en 2019, al ámbito de la ingeniería de prompts. Una Prompt Card es un documento estructurado que resume sistemáticamente las prácticas de ingeniería de prompts.

La metodología se basa en documentar explícitamente las decisiones de diseño que suelen ser implícitas. La estructura de una Prompt Card incluye las siguientes secciones clave (comparadas con las de una Model Card):

• Detalles del Modelo e Uso Previsto: Especificación exacta del LLM utilizado (versión, fecha, licencia) y el contexto de despliegue. Esto es crucial debido a las actualizaciones frecuentes de los LLMs.
• Dataset (Conjunto de Datos): Documentación de los datos utilizados en el prompt, incluyendo su origen, construcción y posibles sesgos inherentes.
• Contexto: Descripción de la información contextual inyectada (instrucciones de rol, ejemplos few-shot, pares de preguntas-respuestas, datos recuperados mediante RAG). Se documenta cómo se construyen estos elementos para reducir alucinaciones y guiar el tono.
• Arquitectura del Prompt: Un esquema visual o descriptivo que desglosa la estructura del prompt, sus componentes y cómo se ensamblan (ej. "Dile quién es", "Dile qué sabe", "Dile qué datos usar", "Dile cómo responder").
• Factores: Análisis de cómo el rendimiento varía según grupos demográficos, tipos de instrumentos o condiciones ambientales.
• Análisis Cuantitativo (Hipothético): A diferencia de las métricas de modelo (precisión, F1), el análisis en prompts se centra en hipótesis específicas (ej. "¿El texto generado refleja fielmente los datos de entrada?"). Se sugiere el uso de "LLM-as-judge" (usar un LLM para evaluar a otro) o evaluaciones humanas, reconociendo sus limitaciones.
• Seguridad de Datos: Evaluación de riesgos de privacidad, especialmente si el prompt requiere acceso a internet o maneja datos sensibles (salud, financieros). Se recomienda el uso de datos anonimizados o abstractos en lugar de datos crudos.
• Consideraciones Éticas: Discusión explícita sobre sesgos, daños representacionales, limitaciones culturales (ej. universalidad de tests de personalidad) y riesgos de automatización en la toma de decisiones.
• Advertencias y Recomendaciones: Guía práctica sobre las limitaciones conocidas y cómo evitar malinterpretaciones.

3. Contribuciones Clave

• Marco de Documentación: Introducen las "Prompt Cards" como un estándar para documentar cualquier proceso vinculado a la ingeniería de prompts, llenando el vacío entre los archivos README y las publicaciones académicas.
• Caso de Estudio: "Wordalisation": Ilustran su metodología con un caso de uso específico llamado "wordalisation", que transforma datos numéricos estructurados en texto narrativo. Se presentan tres aplicaciones:
  1. Scout de Fútbol: Transformación de estadísticas de jugadores en informes de texto.
  2. Encuesta de Valores Mundiales: Conversión de datos demográficos y de opinión en narrativas por país.
  3. Test de Personalidad: Generación de perfiles de personalidad basados en el modelo de los "Cinco Grandes" (Big Five).
• Herramientas Abiertas: Las Prompt Cards completas y las aplicaciones están disponibles públicamente en GitHub y en una interfaz de usuario, fomentando la transparencia y la reutilización.
• Crítica al Benchmarking: Argumentan que la obsesión por los benchmarks estandarizados es contraproducente para la ingeniería de prompts y proponen la documentación transparente como una alternativa viable para evaluar la calidad y la idoneidad.

4. Resultados y Evidencia

Aunque el artículo es principalmente metodológico, los resultados se demuestran a través de la aplicación práctica:

• Validación de la Metodología: Se demuestra que documentar cada paso (desde la normalización de datos hasta la inyección de contexto) permite a otros investigadores entender, replicar y auditar el sistema.
• Evaluación de Fidelidad: En el caso de "Wordalisation", se utilizó un enfoque de "LLM-as-judge" para reconstruir los datos originales a partir del texto generado. Los resultados mostraron que la inclusión de texto sintético en el prompt mejoraba significativamente la fidelidad de la reconstrucción en comparación con prompts sin contexto.
• Identificación de Sesgos: El proceso de crear las tarjetas reveló sesgos inherentes en los datos (ej. el test de personalidad no es universalmente aplicable culturalmente) y en la selección de datos (ej. el dataset de fútbol solo incluye hombres profesionales), lo cual se documentó explícitamente en las secciones de "Factores" y "Ética".

5. Significado e Impacto

El artículo tiene un impacto significativo en la dirección futura de la IA generativa:

• Transparencia y Responsabilidad: Las Prompt Cards hacen explícitas las decisiones de diseño que moldean el comportamiento del sistema, permitiendo una auditoría ética y técnica.
• Adaptación a la Regulación: Ante leyes emergentes como la Ley de IA de la UE, las Prompt Cards sirven como artefactos de documentación esenciales para cumplir con los requisitos de transparencia, gestión de riesgos y reproducibilidad.
• Cambio de Paradigma: Propone un cambio desde la búsqueda de "el mejor benchmark" hacia la creación de documentación rigurosa y contextualizada. Esto es vital dado que la ingeniería de prompts es un campo dinámico donde las tareas específicas a menudo no se ajustan a evaluaciones estandarizadas.
• Mejora de la Reproducibilidad: Al capturar detalles como la versión del modelo, la estrategia de recuperación y los parámetros de muestreo, se reduce la brecha entre la investigación y la implementación en producción.

En conclusión, los autores sostienen que "lo que pides es lo que obtienes", pero solo si se documenta rigurosamente cómo se formuló esa petición. Las Prompt Cards son la herramienta propuesta para garantizar que la ingeniería de prompts sea una disciplina transparente, reproducible y ética.