Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
Este artículo demuestra que, si bien los prompts de sistema generalmente siguen siendo la opción predeterminada más segura para la colocación de instrucciones, las descripciones de esquemas son un canal de instrucción potente y dependiente del modelo que puede anular los prompts, lo que hace que el diseño unificado de esquemas y la validación empírica sean críticos para optimizar el rendimiento de la salida estructurada.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando enseñarle a un robot muy inteligente, pero un poco literal, cómo clasificar un montón de juguetes mezclados. Tienes dos formas de darle instrucciones: puedes hablarle directamente (como un profesor dando una clase) o puedes entregarle un formulario especial con casillas para rellenar, donde las instrucciones están escritas justo al lado de los cuadros. Este es el mundo de los "Modelos de Lenguaje de Gran Tamaño" (LLM), que son los cerebros detrás de muchas herramientas de IA modernas. Normalmente, la gente piensa que la "charla" (el prompt) es donde residen las reglas reales, y que el "formulario" (el esquema de salida estructurada) es solo una plantilla aburrida para que el robot la siga. Pero últimamente, los desarrolladores se han preguntado: ¿realmente lee el robot las notas escritas en el formulario, o simplemente las ignora y solo escucha al profesor? Esta pregunta es importante porque si ponemos nuestras reglas más importantes en el lugar equivocado, el robot podría clasificar los juguetes de forma completamente errónea, rompiendo las aplicaciones y herramientas en las que confiamos todos los días.
Una investigadora llamada Sin-Ying (Alina) Lin decidió resolver este debate con un experimento ingenioso. En lugar de discutir sobre ello, organizó un juego en el que un robot tenía que clasificar mensajes cortos en cuatro categorías secretas, utilizando nombres inventados como "tomil" y "varek" para que el robot no pudiera adivinar las respuestas basándose en conocimientos del mundo real. Luego, jugó un juego de "sillas musicales" con las instrucciones, moviendo las definiciones exactas de la clase del profesor (el prompt del sistema) a las notas del formulario (la descripción del esquema), y a veces incluso poniendo las definiciones en el cuadro de chat del usuario.
Lo que encontró fue una sorpresa: los oídos de los robots no tienen todos el mismo tamaño. Para algunos modelos, como GPT-4.1 y GPT-5.4 (sin modos de pensamiento especiales), la voz del profesor era la reina. Cuando las definiciones se movían al formulario, estos robots se confundían y su precisión caía aproximadamente entre 11 y 13 puntos porcentuales. Parecían pensar: "¡El formulario es solo para rellenar; las reglas reales están en el discurso!". Sin embargo, para otros modelos, como Claude Haiku 4.5, el formulario era en realidad el jefe. Cuando las instrucciones en el formulario cambiaban para ser incorrectas, el rendimiento de este robot se desplomaba desde una precisión del 52.5% hasta un lúgubre 7%. Resultó que, para algunos robots, las notas en el formulario son tan fuertes que ahogan las instrucciones correctas del profesor.
El artículo también descubrió un "truco de magia" para arreglar a los robots que ignoraban el formulario. Al añadir un paso obligatorio donde el robot tenía que escribir su razonamiento en un cuadro antes de poder elegir la respuesta final, el rendimiento subió entre 15 y 24 puntos porcentuales. Era como si obligar al robot a "mostrar su trabajo" hiciera que prestara atención a las reglas escritas en el formulario.
Así que, la gran conclusión no es que un lugar sea siempre mejor que el otro. En cambio, el artículo sugiere que cada modelo de robot tiene su propia personalidad y escucha diferentes canales con diferentes volúmenes. La apuesta más segura por ahora es mantener tus reglas más importantes en el prompt del sistema (la voz del profesor), pero debes tener cuidado de no escribir reglas contradictorias en el formulario, o algunos robots seguirán las erróneas. La verdadera lección es que no puedes simplemente adivinar; tienes que probar cada robot para ver dónde escucha mejor, y a veces, simplemente cambiar la forma del formulario para incluir un "paso de pensamiento" es un arreglo más poderoso que reescribir las instrucciones por completo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.