Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
Este artículo introduce una ontología estructurada para analizar una gran colección de 57.500 prompts transaccionales únicos de GitHub, transformándolos en objetos lingüísticos ricamente estructurados para revelar diversos patrones de uso a través de lenguajes y dominios, al tiempo que valida la calidad de la anotación mediante un análisis de errores exhaustivo.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando enseñarle a un robot superinteligente cómo hacer un trabajo específico, como escribir un poema o corregir un error en un programa de computadora. No le das al robot un código de programación formal; en su lugar, le escribes un conjunto de instrucciones en inglés sencillo. Este conjunto de instrucciones se llama prompt. Piensa en un prompt como una tarjeta de receta para un chef. Si la receta es vaga ("haz algo rico"), el chef podría equivocarse. Pero si la receta es detallada ("pica dos cebollas, saltea durante cinco minutos, añade sal"), el chef sabe exactamente qué hacer. Durante mucho tiempo, los científicos han estudiado al "chef" (el modelo de IA) en gran detalle, tratando de hacerlo más inteligente. Pero no han prestado mucha atención a las "tarjetas de recetas" (los prompts) en sí mismos, tratándolos como notas desordenadas e informales en lugar de algo que valga la pena estudiar seriamente. Este artículo argumenta que estos prompts son en realidad un nuevo tipo de "lenguaje" que los humanos usamos para programar la IA, y que merecen ser analizados como cualquier otro lenguaje o código.
Los investigadores detrás de este estudio decidieron tratar los prompts como un objeto científico. Se pusieron a investigar en los repositorios de código públicos de GitHub, que es como una biblioteca gigante donde los desarrolladores de software comparten su trabajo. Buscaban un tipo específico de prompt llamado prompt transaccional. Para entender la diferencia, imagina una conversación casual con un amigo donde le preguntas "¿Cómo está el clima?" y él responde. Ese es un prompt "interactivo". Un prompt transaccional es diferente; es como una instrucción escrita previamente y pegada a una máquina que se ejecuta automáticamente cada vez que se presiona un botón. Está diseñado para ser repetido, robusto y parte de un sistema de software más grande. El equipo recolectó 57.500 de estos prompts únicos del mundo real para ver cómo lucen, cómo están estructurados y qué es lo que la gente realmente le está pidiendo a la IA.
Para dar sentido a este enorme montón de texto, los autores construyeron un "mapa" especial o ontología. Imagina intentar organizar un ático desordenado lleno de objetos aleatorios. Sin un sistema, es solo caos. La ontología es como un conjunto de cajas etiquetadas y etiquetas que les permite clasificar los prompts en categorías: ¿En qué idioma está escrito? ¿Cuál es la tarea? ¿Se requiere un formato específico? ¿Le está diciendo el prompt a la IA lo que no debe hacer? Al convertir el texto no estructurado en estos puntos de datos ricos y estructurados, pudieron empezar a hacer preguntas serias.
¿Qué encontraron? Primero, los datos muestran una gran variedad, pero siguen un patrón conocido como distribución de tipo Zipf. Piensa en esto como la población de una ciudad: algunas ciudades grandes (como el inglés) tienen millones de personas, mientras que miles de pueblos pequeños (otros idiomas) tienen muy pocas. En el mundo de los prompts, el inglés es la ciudad gigante, que constituye aproximadamente el 84,66% de los prompts. Sin embargo, todavía hay 62 idiomas diferentes representados, e incluso en estos prompts en inglés, la gente menciona constantemente otros idiomas (como pedirle a la IA que "traduzca al español"), mostrando una capa oculta de diversidad lingüística.
El estudio también reveló que estos prompts son sorprendentemente complejos. No son solo frases simples. En promedio, cada prompt contiene alrededor de 6,85 "bloques de instrucción" distintos. Estos bloques son como los pasos de una receta. Los pasos más comunes son cosas como "aquí está el contexto", "no hagas la respuesta demasiado larga" o "entrega el resultado como un archivo JSON". Curiosamente, alrededor del 31% de los prompts contienen "instrucciones negativas": decirle a la IA lo que no debe hacer, como "no alucines" o "no uses texto extra". Esto sugiere que los desarrolladores están constantemente tratando de controlar la tendencia de la IA a ser demasiado habladora o a inventar cosas.
Los investigadores también analizaron cómo la gente estructura estos prompts. Encontraron que la configuración más común es una conversación de dos partes: un mensaje de "Sistema" (que establece las reglas, como "Eres un asistente útil") y un mensaje de "Usuario" (que da la tarea específica). Este dúo "Sistema-Usuario" se ha convertido en la unidad estándar para los prompts transaccionales, apareciendo en el 64% de los casos. Parece que los desarrolladores ven el rol del Sistema como una capa de configuración estática y el rol del Usuario como la entrada dinámica, en lugar de usar la IA para juegos de rol complejos de múltiples turnos dentro de un solo script.
En cuanto a lo que la gente está haciendo realmente, las tareas de PLN (Procesamiento de Lenguaje Natural, como resumir texto o responder preguntas) son las más populares, con las cuatro tareas principales cubriendo casi la mitad de todos los datos. Sin embargo, la "larga cola" de los datos muestra que la gente usa la IA para todo tipo de cosas extrañas y maravillosas, desde estrategias de juego hasta generación de políticas. Los datos también sugieren que la mayoría de estos prompts están "anclados" (grounded), lo que significa que dependen de un contexto específico proporcionado en el prompt (como un documento o un fragmento de código) en lugar de solo la memoria interna de la IA. Alrededor del 89,25% de los casos utilizan este tipo de anclaje.
Los autores advierten cuidadosamente que sus hallazgos provienen de una porción específica de internet (proyectos públicos de GitHub que usan librerías específicas de Python), por lo que podría no representar cada prompt existente. También utilizaron IA para ayudar a etiquetar y analizar los datos, lo que significa que hay algunos errores, aunque verificaron la calidad y encontraron que la precisión era bastante alta para la mayoría de las categorías (a menudo superior al 90%).
En última instancia, este artículo no solo nos da una lista de prompts; nos da un kit de herramientas. Los autores lanzaron el conjunto de datos y un sitio web especial donde cualquiera puede navegar, buscar y explorar estos prompts por sus características. Esperan que esto ayude a científicos, ingenieros y lingüistas a entender cómo los humanos realmente interactúan con la IA. Al tratar los prompts como objetos científicos de primer orden, podemos empezar a ver los patrones, las "normas implícitas" y las formas creativas en que las personas están moldeando el comportamiento de estas poderosas máquinas. Es un paso hacia la comprensión del nuevo lenguaje que estamos inventando para hablar con nuestros compañeros digitales.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.