Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

En las ciencias sociales, los investigadores han dependido durante mucho tiempo de un proceso lento y cuidadoso para comprender la comunicación humana. Leen miles de documentos —artículos de prensa, discursos políticos o comentarios en redes sociales— y los clasifican en categorías basadas en lo que dice el texto. Esto se llama análisis de contenido. Durante décadas, el método más confiable ha sido contratar a lectores humanos para realizar esta clasificación. Los humanos son flexibles y pueden comprender los matices, pero también son lentos, costosos y están limitados por la cantidad de horas que pueden trabajar. En años recientes, han surgido potentes programas informáticos conocidos como modelos de lenguaje de gran tamaño, los cuales pueden leer y escribir lenguaje humano con una habilidad notable, ofreciendo la promesa de automatizar este proceso de clasificación. Sin embargo, el simple hecho de pedirle a una computadora que lea un texto y lo categorice a menudo conduce a resultados inconsistentes. La computadora podría dar una respuesta diferente al mismo texto si se le pregunta dos veces, o podría malinterpretar las reglas específicas que un investigador tiene en mente. El desafío central ha sido cómo traducir las reglas cuidadosas, creadas por humanos, de un estudio en instrucciones que una computadora pueda seguir de manera confiable, sin perder la precisión que proporcionan los expertos humanos.

Un equipo de investigadores de la Universidad de Hohenheim ha desarrollado un nuevo método para resolver este problema, al que llaman HALC. Su objetivo era crear un flujo de trabajo paso a paso que permita a los científicos utilizar estos potentes modelos informáticos para codificar datos de manera sistemática y transparente, en lugar de depender de conjeturas. Los investigadores comenzaron reconociendo que, si bien estos modelos informáticos son impresionantes, no son perfectos. Pueden ser impredecibles y su rendimiento cambia dependiendo de cómo se les pida realizar una tarea. Para construir un sistema confiable, el equipo realizó primero un gran estudio preliminar. Tomaron un conjunto de comentarios sobre movimientos climáticos y pidieron a los modelos informáticos que los leyeran repetidamente. Probaron cientos de formas diferentes de redactar las instrucciones, o "prompts", para ver cuáles producían los resultados más consistentes y precisos. Descubrieron que pedirle a la computadora que leyera el mismo texto cinco veces y luego tomar la respuesta más común estabilizaba significamente los resultados. También descubrieron que la calidad de los datos humanos iniciales utilizados para enseñar a la computadora importaba enormemente; si la verdad de base humana era inestable, los resultados de la computadora también lo eran. Lo más importante es que aprendieron que las mejores instrucciones no eran cortas o vagas. Los prompts más exitosos eran detallados, pidiendo a la computadora que explicara su razonamiento paso a paso y que justificara su decisión final, tal como un codificador humano pensaría un problema antes de escribir una respuesta.

Basándose en estos hallazgos, los investigadores formalizaron el flujo de trabajo HALC. Este proceso comienza con un libro de códigos estándar creado por humanos, que contiene las definiciones y reglas para un proyecto de investigación específico. En lugar de intentar reinventar la rueda para la computadora, los investigadores traducen estas reglas humanas directamente en un prompt estructurado. Luego, prueban este prompt en una pequeña muestra de datos, comparando la salida de la computadora contra la codificación humana original. Si la computadora no coincide con los estándares de fiabilidad humana, los investigadores no simplemente adivinan una nueva instrucción. En su lugar, siguen un proceso estrico basado en reglas para refinar el prompt, quizás añadiendo ejemplos más específicos o aclarando una definición, y luego lo prueban de nuevo. Este ciclo continúa hasta que la computadora alcanza un nivel de acuerdo con los codificadores humanos que se considera científicamente aceptable. Solo entonces utilizan la computadora para procesar el conjunto de datos completo. Este enfoque trata a la computadora no como una caja mágica que funciona por sí sola, sino como una herramienta que debe ser cuidadosamente calibrada frente al juicio humano.

Para demostrar que este sistema funciona en el mundo real, el equipo aplicó el flujo de trabajo HALC a dos tipos de datos completamente diferentes. El primero fue una colección masiva de manifiestos de partidos políticos de cinco países diferentes, escritos en inglés, alemán y español. La tarea era identificar qué frases discutían la inmigración y si se centraban en el control de fronteras o en la integración de personas que ya vivían en el país. El segundo conjunto de datos consistía en informes anuales de treinta importantes empresas alemanas, donde el objetivo era determinar el tono de la escritura: si era positivo, negativo o neutral. En ambos casos, los investigadores utilizaron las mismas instrucciones en inglés para la computadora, confiando en la capacidad del modelo para entender diferentes idiomas sin necesidad de un prompt separado para cada uno. Los resultados fueron alentadores. Para los textos políticos, la computadora logró puntuaciones de fiabilidad muy cercanas a las de los codificadores humanos originales, navegando con éxito a través de diferentes idiomas y contextos políticos. Para los informes empresariales, la computadora funcionó incluso mejor al utilizar un tipo específico de modelo diseñado para el razonamiento complejo, demostrando que el flujo de trabajo puede adaptarse a diferentes tipos de tareas.

El estudio concluye que, si bien los modelos de lenguaje de gran tamaño son potentes, no se les puede simplemente asignar una tarea y esperar que realicen un trabajo perfecto. Requieren un enfoque estructurado y sistemático para asegurar que su producción sea confiable. El flujo de trabajo HALC ofrece una forma de cerrar la brecha entre la experiencia humana y la velocidad de la máquina. Al fundamentar las instrucciones de la computadora en reglas humanas establecidas y probarlas rigurosamente antes de su despliegue total, los investigadores pueden automatizar su trabajo sin sacrificar la validez de sus hallazgos. Los autores sugieren que este método hace que el proceso de codificación automatizada sea transparente y reproducible, permitiendo que otros científicos vean exactamente cómo se construyeron y verificaron las instrucciones. Aunque los modelos informáticos continúan evolucionando, el principio central permanece: la automatización confiable proviene de una asociación cuidadosa entre el diseño humano y la ejecución de la máquina, asegurando que los datos finales sean tan sólidos como si hubieran sido clasificados por un equipo de expertos humanos.