Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
Este artículo demuestra que, si bien la variación sistemática de los elementos de la ingeniería de prompts, tales como las descripciones de etiquetas, los estímulos instructivos y los ejemplos de pocos disparos (few-shot), puede mejorar significativamente la precisión de la clasificación de los LLM para textos de las ciencias sociales, las ganancias de rendimiento suelen ser marginales más allá de incrementos mínimos de contexto, a veces pueden disminuir con un exceso de contexto y varían sustancialmente entre modelos y tareas, lo que requiere una validación individual en lugar de depender de reglas generales.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que tienes un robot bibliotecario superinteligente que puede leer millones de libros y clasificarlos en estantes al instante. Esto es lo que los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés) son para los científicos sociales. Se están utilizando para clasificar texto, como clasificar proyectos de ley del Congreso en temas de política o decidir si la respuesta de una encuesta es "emocional" o "neutral".
Durante un tiempo, los investigadores solo se preguntaban: "¿Puede este robot hacer el trabajo?". La respuesta era un dudoso "tal vez". Pero ahora, la pregunta ha cambiado a: "¿Cómo le damos al robot las mejores instrucciones para que haga el trabajo perfectamente?". Esto se llama ingeniería de prompts (prompt engineering).
Piensa en el "prompt" como el manual de instrucciones que le entregas al robot. Los autores de este artículo decidieron jugar un enorme juego de "¿Qué pasaría si...?" con estos manuales de instrucciones. No se limitaron a adivinar; realizaron un experimento masivo con dos robots diferentes (GPT 4o y Gemini 2.0 Flash) y dos tareas de clasificación distintas:
- El Clasificador de Políticas: Tomar títulos de 21 tipos diferentes de proyectos de ley gubernamentales y clasificarlos en la categoría política correcta.
- El Clasificador de Ánimo: Leer respuestas abiertas de encuestas y decidir si son "emocionales" o "neutrales".
Modificaron tres partes específicas del manual de instrucciones para ver qué funcionaba mejor:
- Descripciones de las etiquetas: ¿Se limitaron a darle al robot una lista de nombres de estantes (por ejemplo, "Salud", "Educación"), o también escribieron un pequeño párrafo explicando qué va en cada estante?
- Inducciones instructivas: ¿Añadieron pequeñas notas al robot diciendo: "¡Oye, ten cuidado! Los proyectos de ley sobre el aborto van en 'Derechos Civiles', no en 'Salud'"?
- Ejemplos de pocos disparos (Few-Shot Examples): ¿Le mostraron al robot algunos ejemplos de proyectos de ley que ya habían sido clasificados correctamente antes de pedirle que hiciera el resto?
La gran sorpresa: Más no siempre es mejor
Aquí está lo más importante que encontró el artículo, y es un poco un giro en la trama. Podrías pensar que darle al robot más información en su manual de instrucciones siempre lo hará más inteligente. El artículo sugiere que esto no es cierto.
De hecho, los autores descubrieron que un aumento mínimo en el contexto (añadir solo un poco de explicación o ejemplos) dio el mayor impulso al rendimiento. Pero si seguías añadiendo más y más detalles, el robot no mejoraba mucho. De hecho, chocó contra un muro donde añadir más texto solo ofrecía mejoras diminutas y casi inútiles.
Incluso más alarmante, el artículo sugiere que, a veces, añadir más contexto hace que el robot sea peor en su trabajo. Es como intentar ayudar a un amigo a resolver un rompecabezas gritándole todas las pistas a la vez; eventualmente, se confunde y suelta las piezas.
El truco del "Lote" (Batch)
Los investigadores también probaron cuántos elementos debía clasificar el robot a la vez. Intentaron clasificar solo 1 proyecto de ley a la vez, luego 10, 100, 500 e incluso 1,000 a la vez.
El artículo sugiere que clasificar solo un elemento a la vez es usualmente la peor estrategia. No solo es la forma más costosa de usar al robot, sino que tampoco rinde tan bien. En cambio, el artículo indica que la clasificación por lotes (darle al robot una pila entera de 100 o 500 elementos para que los clasifique de una sola vez) es usualmente la opción superior.
El mito de "Talla única para todos"
Quizás la lección más crítica es que no puedes simplemente copiar y pegar un "prompt perfecto" de un proyecto a otro. El artículo sugiere que existe una heterogeneidad sustancial (una forma elegante de decir "grandes diferencias") entre diferentes modelos, diferentes tareas e incluso diferentes tamaños de lote.
Lo que funcionó perfectamente para clasificar proyectos de ley políticos podría fallar estrepitosamente al clasificar emociones de encuestas. Incluso el mismo robot podría actuar de manera diferente dependiendo de cómo se le pregunte. Debido a esto, los autores argumentan que los investigadores no pueden confiar en reglas generales. Si quieres usar estos robots para tu propia investigación, tienes que realizar tus propias pruebas específicas para ver qué funciona para tu tarea específica.
El misterio de la "Temperatura Cero"
Finalmente, el artículo señala algo inquietante sobre estos robots. Incluso cuando los investigadores configuraron la "temperatura" del robot (un ajuste que controla la aleatoriedad) a cero —lo que debería hacer que el robot actúe como una calculadora estricta y determinista—, los resultados no siempre fueron idénticos. El artículo sugiere que, incluso con el mismo prompt exacto, la salida del robot puede variar ligeramente dependiendo del modelo y los detalles del prompt. Esto significa que no siempre puedes asumir que el robot te dará la misma respuesta dos veces, incluso si intentas forzarlo a ser consistente.
La conclusión
El artículo no afirma haber encontrado el "hechizo mágico" que hace que los LLM sean perfectos. En cambio, sugiere que el camino hacia mejores resultados es la prueba cuidadosa y específica.
- No asumas que más texto en el prompt es mejor.
- No clasifiques elementos uno por uno si puedes hacerlo por lotes.
- No asumas que lo que funciona para una tarea funcionará para otra.
- Sí realiza tus propias pruebas específicas antes de confiar en los resultados.
Es un recordatorio de que, aunque estas herramientas de IA son poderosas, todavía son un poco como caballos salvajes: no puedes simplemente ponerles una silla de montar y cabalgar; tienes que aprender exactamente cómo manejar a este caballo específico para este viaje específico.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.