Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

Nas ciências sociais, os pesquisadores há muito dependem de um processo lento e cuidadoso para compreender a comunicação humana. Eles leem milhares de documentos — artigos de jornais, discursos políticos ou comentários em redes sociais — e os classificam em categorias com base no que o texto diz. Isso é chamado de análise de conteúdo. Durante décadas, o método mais confiável tem sido contratar leitores humanos para realizar essa classificação. Os humanos são flexíveis e conseguem compreender nuances, mas também são lentos, caros e limitados pelas horas que podem trabalhar. Nos últimos anos, surgiram programas de computador poderosos conhecidos como modelos de linguagem de grande escala (LLMs). Esses programas podem ler e escrever a linguagem humana com uma habilidade notável, oferecendo a promidade de automatizar esse processo de classificação. No entanto, simplesmente pedir a um computador para ler um texto e categorizá-lo frequentemente leva a resultados inconsistentes. O computador pode dar uma resposta diferente ao mesmo texto se for questionado duas vezes, ou pode entender mal as regras específicas que um pesquisador tem em mente. O desafio central tem sido como traduzir as regras cuidadosas, criadas por humanos, de um estudo em instruções que um computador possa seguir de forma confiável, sem perder a precisão que os especialistas humanos fornecem.

Uma equipe de pesquisadores da Universidade de Hohenheim desenvolveu um novo método para resolver este problema, que eles chamam de HALC. O objetivo deles era criar um pipeline passo a passo que permitisse aos cientistas usar esses poderosos modelos de computador para codificar dados de forma sistemática e transparente, em vez de depender de suposições. Os pesquisadores começaram reconhecendo que, embora esses modelos de computador sejam impressionantes, eles não são perfeitos. Eles podem ser imprevisíveis e seu desempenho muda dependendo de como lhes é solicitada uma tarefa. Para construir um sistema confiável, a equipe realizou primeiro um grande estudo preliminar. Eles pegaram um conjunto de comentários sobre movimentos climáticos e pediram aos modelos de computador que os lessem repetidamente. Eles testaram centenas de formas diferentes de redigir as instruções, ou "prompts", para ver quais produziam os resultados mais consistentes e precisos. Descobriram que pedir ao computador para ler o mesmo texto cinco vezes e, em seguida, considerar a resposta mais comum, estabilizava significamente os resultados. Também descobriram que a qualidade dos dados humanos iniciais usados para ensinar o computador importava muito; se a verdade fundamental humana fosse instável, os resultados do computador também seriam instáveis. Mais importante ainda, aprenderam que as melhores instruções não eram curtas ou vagas. Os prompts mais bem-sucedidos eram detalhados, pedindo ao computador para explicar seu raciocínio passo a passo e para justificar sua decisão final, tal como um codificador humano pensaria antes de escrever uma resposta.

Com base nessas descobertas, os pesquisadores formalizaram o pipeline HALC. Este processo começa com um manual de codificação padrão criado por humanos, que contém as definições e regras para um projeto de pesquisa específico. Em vez de tentar reinventar a roda para o computador, os pesquisadores traduzem essas regras humanas diretamente em um prompt estruturado. Eles então testam esse prompt em uma pequena amostra de dados, comparando a saída do computador com a codificação humana original. Se o computador não corresponder aos padrões de confiabilidade humana, os pesquisadores não apenas tentam uma nova instrução por tentativa e erro. Em vez disso, seguem um processo rigoroso baseado em regras para refinar o prompt, talvez adicionando exemplos mais específicos ou esclarecendo uma definição, e então o testam novamente. Este ciclo continua até que o computador alcance um nível de concordância com os codificadores humanos que é considerado cientificamente aceitável. Somente então utilizam o computador para processar todo o conjunto de dados. Esta abordagem trata o computador não como uma caixa mágica que funciona por conta própria, mas como uma ferramenta que deve ser cuidadosamente calibrada em relação ao julgamento humano.

Para provar que este sistema funciona no mundo real, a equipe aplicou o pipeline HALC a dois tipos completamente diferentes de dados. O primeiro foi uma coleção massiva de manifestos de partidos políticos de cinco países diferentes, escritos em inglês, alemão e espanhol. A tarefa era identificar quais sentenças discutiam imigração e se focavam no controle de fronteiras ou na integração de pessoas que já viviam no país. O segundo conjunto de dados consistia em relatórios anuais de trinta grandes empresas alemãs, onde o objetivo era determinar o tom da escrita — se era positivo, negativo ou neutro. Em ambos os casos, os pesquisadores usaram as mesmas instruções em inglês para o computador, contando com a capacidade do modelo de compreender diferentes idiomas sem a necessidade de um prompt separado para cada um. Os resultados foram encorajadores. Para os textos políticos, o computador alcançou pontuações de confiabilidade muito próximas das dos codificadores humanos originais, navegando com sucesso por diferentes idiomas e contextos políticos. Para os relatórios empresariais, o computador teve um desempenho ainda melhor ao utilizar um tipo específico de modelo projetado para raciocínio complexo, mostrando que o pipeline pode se adaptar a diferentes tipos de tarefas.

O estudo conclui que, embora os modelos de linguagem de grande escala sejam poderosos, não se pode simplesmente entregar-lhes uma tarefa e esperar que desempenhem perfeitamente. Eles requerem uma abordagem estruturada e sistemática para garantir que sua produção seja confiável. O pipeline HALC oferece uma maneira de unir a expertise humana e a velocidade da máquina. Ao fundamentar as instruções do computador nas regras humanas estabelecidas e testá-las rigorosamente antes da implementação total, os pesquisadores podem automatizar seu trabalho sem sacrificar a validade de suas descobertas. Os autores sugerem que este método torna o processo de codificação automatizada transparente e reprodutível, permitindo que outros cientistas vejam exatamente como as instruções foram construídas e verificadas. Embora os modelos de computador continuem a evoluir, o princípio central permanece: a automação confiável provém de uma parceria cuidadosa entre o design humano e a execução da máquina, garantindo que os dados finais sejam tão sólidos quanto se tivessem sido classificados por uma equipe de especialistas humanos.