Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models
Este artículo presenta una evaluación controlada utilizando el corpus sintético "Book of Veyra" a través de cinco modelos, revelando que la adherencia a las instrucciones colapsa cuando el recuento de reglas supera las 80 independientemente del formato, mientras que el rendimiento en contextos largos se caracteriza por una aguda degradación de la recuperación y tasas de rechazo en lugar de alucinaciones, sin que exista una ventaja consistente de markdown sobre el texto plano.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando enseñarle a un robot superinteligente cómo hacer un trabajo. Tienes unas cuantas palancas que puedes mover para que trabaje mejor. Una palanca es el formato: puedes escribir tus instrucciones como una lista ordenada, un párrafo aburrido, una tabla elegante o simplemente texto plano. Otra palanca es la escala: cuántas instrucciones le das a la vez y cuánta información de trasfondo (como un libro gigante) le pides que recuerde mientras trabaja. Durante mucho tiempo, la gente discutió sobre cuál era el mejor estilo de escritura, asumiendo que el robot las entendería perfectamente sin importar cuántas reglas añadieras o qué tan grueso fuera el libro. Pero en el mundo de la Inteligencia Artificial, específicamente con los Grandes Modelos de Lenguaje (el tipo de IA que escribe historias y responde preguntas), hay una sospecha creciente de que estas palancas no funcionan de forma aislada. Si le das demasiadas reglas al robot, o le pides que recuerde demasiado, el estilo de tu escritura podría dejar de importar de repente o, peor aún, podría empezar a romperse de formas extrañas. Este artículo plantea una pregunta simple pero complicada: ¿Realmente ayuda la forma en que formateas tus instrucciones, o simplemente se pierde en el ruido cuando la tarea se vuelve enorme?
Los investigadores detrás de este estudio, Netanel Eliav del Machine Human Intelligence Lab, decidieron dejar de adivinar y empezar a probar. Construyeron un universo ficticio gigante llamado el "Libro de Veyra". Piensa en él como una enorme enciclopedia inventada que contiene 8.780 cosas ficticias únicas —como sistemas solares, gremios y criaturas extrañas— cada una con datos específicos sobre ellas. Debido a que el libro fue creado por un programa de computadora y no leyendo internet, la IA no pudo haberlo memorizado de antemano; tenía que leer realmente las páginas proporcionadas para encontrar las respuestas. Tomaron este mismo libro y lo escribieron de cuatro maneras diferentes: como una lista Markdown (con encabezados en negrita y viñetas), como texto plano (solo las palabras), como prosa fluida (como una historia) y como una tabla. Luego, pusieron este libro frente a cinco modelos de IA diferentes y realizaron dos experimentos masivos.
Primero, probaron el Seguimiento de Instrucciones. Le dieron a la IA una lista de reglas para seguir mientras escribía un breve ensayo. Comenzaron con 10 reglas y siguieron añadiendo más, hasta llegar a 160 reglas a la vez. Querían ver si la IA aún podía seguir todas las reglas perfectamente a medida que la lista se hacía más larga, y si escribir esas reglas en un formato de lista elegante ayudaba más que escribirlas en un párrafo. El resultado fue un choque frontal. Sin importar cómo se escribieran las reglas, una vez que la lista alcanzaba unas 80 reglas, la capacidad de la IA para seguir cada una de ellas perfectamente cayó a cero. No importaba si las reglas estaban en una tabla o en una lista; la IA simplemente se rendía en cuanto a hacer todo correctamente. Sorprendentemente, dónde ponías las reglas importaba más que cómo se veían. Poner las reglas en el "system prompt" (las instrucciones ocultas del cerebro del robot) frente al "user turn" (el mensaje del chat) cambió los resultados significativamente, pero de formas diferentes para distintos robots. Para algunos modelos, poner las reglas en el chat ayudaba; para otros, perjudicaba. No había un "mejor lugar" universal para ponerlas.
Segundo, probaron la Memoria y la Honestidad con el Libro de Veyra. Alimentaron a la IA con fragmentos del libro que iban desde las 2.000 palabras hasta un masivo 512.000 palabras. Le pidieron a la IA que recordara hechos específicos, que verificara si la IA mentiría para estar de acuerdo con una afirmación falsa (sicofancia) o si inventaría hechos que no estaban allí (alucinación). Los resultados fueron fascinantes. Hasta unas 64.000 o 128.000 palabras, la IA recordaba todo perfectamente, independientemente del formato. Pero una vez que cruzaron ese umbral, las cosas se complicaron. La precisión no solo se desvaneció lentamente; colapsó, y cómo colapsaba dependía enteramente del formato y del modelo de IA específico. Para un modelo, el texto plano era terrible a las 128k palabras, mientras que las listas y las tablas funcionaban de maravilla. Para otro, ocurría lo contrario. No había un "mejor formato" único.
Aquí está la mayor sorpresa: La IA no empezó a inventar mentiras o a estar de acuerdo con afirmaciones falsas con más frecuencia a medida que el libro se hacía más largo. De hecho, la tasa de inventar hechos era cero, y estar de acuerdo con las mentiras se mantuvo muy baja. En su lugar, la IA empezó a hacer algo distinto: negarse a responder. A medida que el libro se acercaba al límite de memoria del modelo, la IA simplemente decía: "No lo sé" o "No puedo responder a eso", llegando a negarse a responder hasta el 90% de las veces. No es que se confundiera y mintiera; es que se sentía abrumada y se apagaba.
El artículo también analizó el costo. Algunos formatos, como las tablas, consumen más "tokens" (la moneda que la IA usa para medir la longitud del texto) que el texto plano. Cuando los investigadores ajustaron las puntuaciones para ver qué formato ofrecía la mejor precisión por token gastado, los ganadores cambiaron de nuevo. A veces, un formato que parecía ligeramente menos preciso era en realidad la mejor opción porque era más barato de leer.
La principal conclusión es que no puedes simplemente elegir un "mejor formato" como Markdown o una Tabla y asumir que siempre funcionará. El artículo demuestra que el formato es inútil si no consideras también la escala. Si tienes demasiadas instrucciones (alrededor de 80 o más), el formato no importa porque la IA choca contra un muro. Si tienes un contexto enorme (más de 128k palabras), el formato importa mucho, pero el "mejor" cambia dependiendo de qué modelo de IA estés usando. Los autores concluyen que el modo de fallo por el que debemos preocuparnos no es que la IA mienta; es que la IA se rinda y se niegue a responder cuando la tarea se vuelve demasiado grande. Han publicado todas sus herramientas y el "Libro de Veyra" ficticio para que cualquiera pueda probar estos límites por sí mismo, porque las reglas del juego parecen cambiar con cada nuevo robot que conoces.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.