LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science

Resumo Técnico: Detecção de Postura Assistida por LLM em Discurso Científico

Problema
A codificação qualitativa é fundamental para as ciências sociais, mas enfrenta limites de escalabilidade devido à dificuldade da anotação por especialistas, particularmente quando o construto alvo é interpretativo, teoricamente carregado e expresso apenas indiretamente. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial, sua confiabilidade é questionável quando o construto não está realizado superficialmente em frases específicas. Este artigo aborda o desafio de detectar a postura dos autores na ciência cognitiva bayesiana em relação à distinção realismo–instrumentalismo: se os autores tratam modelos bayesianos como descrições de mecanismos mentais/neurais reais (realismo) ou como ferramentas matemáticas úteis (instrumentalismo). Essas distinções são frequentemente cautelosas, filosoficamente profundas e dependentes do domínio, tornando-as difíceis de serem classificadas por sistemas automatizados sem atalhos superficiais.

Metodologia
O estudo emprega um framework de pesquisa autônoma guiado por diagnóstico e liderado por especialistas para otimizar um único prompt compartilhado para três LLMs de fronteira heterogêneos (GPT-5.1, Claude Sonnet 4.6 e Gemini 3 Pro Preview).

1. Design do Codebook: Um codebook orientado pela teoria define pontuações complementares de Realismo e Instrumentalismo que somam 100. Cada pontuação utiliza uma escala ordinal de sete bandas (variando de Anti-Realista a Realismo Forte) com deslocamentos contínuos dentro da banda (ponto médio ±4 ou ±8). O codebook inclui definições semânticas e tags de critérios linguísticos (Sujeito, Alvo da Alegação, Modalidade, Elo de Evidência) para permitir a validação automatizada.
2. Anotações de Referência: Um especialista no domínio extraiu 251 citações portadoras de pressuposições de 15 artigos, anotou-as usando o codebook e as particionou em conjuntos de ajuste (151), desenvolvimento (50) e controle (50).
3. Otimização de Prompt de Pesquisa Autônoma: Um agente automatizado (implementado em Claude Code) propôs iterativamente modificações de prompt. Uma edição candidata era aceita apenas se melhorasse uma métrica de confiabilidade combinada (média harmônica de ICC e $\alpha$ de Krippendorff) e passasse por quatro portões de diagnóstico:
   • Métrica Combinada: Deve melhorar a média harmônica.
   • Fora do Ponto Médio (Off-Midpoint): Previne o "colapso do ponto médio", onde os modelos atribuem todas as citações ao ponto médio da banda sem utilizar a escala contínua.
   • ICC de Resíduo Dentro da Banda: Garante que o acordo contínuo não degrade significativamente.
   • Coerência Persistente: Limita violações de esquema estrutural.
   • Des-vazamento (De-leaking): Uma etapa crítica que removeu pistas que inadvertidamente especificavam frequências de bandas esperadas ou bandas padrão, evitando que o modelo "antecipe" a resposta.
4. Implementação e Análise: O prompt final de zero-shot foi implantado em 6.858 citações de 210 artigos. A confiabilidade foi avaliada via acordo entre múltiplos avaliadores (ICC, $\alpha$, $\kappa$ de Fleiss) e estabilidade de ranking ao nível do artigo (correlações de interceptos aleatórios por artigo de modelos lineares de efeitos mistos).

Resultos Principais

• Desempenho do Prompt: O prompt final alcançou um escore de confiabilidade de controle de 0,76 (média harmônica de ICC = 0,79 e $\alpha$ = 0,74). Os portões de diagnóstico preveniram com sucesso o colapso dos modelos para os pontos médios das bandas, forçando o uso genuíno da escala contínua.
• Acordo Inter-Modelo: No corpus completo, os três LLMs atingiram um acordo substancial ao nível da citação (Combinado = 0,78; ICC = 0,80; $\alpha$ = 0,76). O acordo exato pareado foi de 78,4%, com 88,4% das comparações caindo dentro de uma banda adjacente.
• Calibração vs. Convergência: Embora os modelos tenham mostrado desvios de calibração sistemáticos (ex: Claude tendeu ao Realismo-Cético, Gemini ao Realismo Forte), eles alcançaram estabilidade de ranking quase perfeita ao nível do artigo ($r = 0,96–0,97$). Isso indica que, embora as classificações individuais das citações tenham variado, os modelos convergiram na ordenação relativa dos artigos.
• Achados Substantivos:
  • O corpus foi predominantemente Fracamente Realista (67,9% das citações), mas os artigos raramente eram uniformes; apenas 1,4% usaram uma única banda, enquanto 59,5% abrangeram quatro ou mais bandas.
  • Uma diferença estrutural significativa foi quantificada: Artigos de percepção/motricidade de baixo nível pontuaram 8,8 pontos de Realismo acima de artigos de cognição de alto nível ($p < ,001, d = 0,60$), validando empiricamente uma intuição qualitativa de longa data no campo.

Significância e Alegações
O artigo posiciona este trabalho como um estudo de caso demonstrando que LLMs de fronteira podem apoiar a codificação qualitativa teoricamente exigente quando o construto é operacionalizado através de um codebook auditável e validado contra referências de especialistas.

• Contribuição Metodológica: Os autores apresentam um framework para otimização de prompt consciente de diagnóstico que trata o prompt como um protocolo de anotação comum para modelos heterogêneos. Esta abordagem prioriza a convergência sob instruções compartilhadas em vez do ajuste por modelo.
• Granularidade da Análise: O estudo destaca que as métricas de acordo devem corresponder ao grão da inferência subsequente. Embora o acordo ao nível da citação tenha sido substancial, a estabilidade de ranking ao nível do artigo foi quase perfeita, sugerindo que a análise de nível agregado pode recuperar sinais obscurecidos pelo ruído de nível de item.
• Limitações e Escopo: Os autores declaram explicitamente que o framework é destinado a se generalizar para tarefas teoricamente exigentes semelhantes, não para todas as análises qualitativas. Eles reconhecem limitações, incluindo o uso de um conjunto de referência de um único especialista (impedindo a estimativa de confiabilidade humano-humano), o foco específico no domínio (ciência cognitiva bayesiana) e o potencial de vieses compartilhados nos dados de treinamento entre os LLMs. O trabalho não pretende substituir o julgamento do especialista, mas sim estendê-lo, contando com a supervisão do especialista para detectar modos de falha (como pistas circulares) que métricas automatizadas poderiam perder.