Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs

Resumo Técnico: Códigos Corretos por Motivos Errados? Validando LLMs como Instrumentos de Medição para Constructos Teóricos

Problema
O artigo aborda uma lacuna crítica no uso de Grandes Modelos de Linguagem (LLMs) como instrumentos de codificação nas ciências sociais e comportamentais. Embora os LLMs frequentemente alcancem altos índices de concordância (confiabilidade) com anotadores humanos em tarefas de codificação de texto, essa concordância não garante a validade de constructo. O problema central é que os LLMs podem produzir códigos corretos pelos "motivos errados". Em vez de inferir um constructo com base em sua definição teórica (a rede nomológica), um instrumento teoricamente ingênuo pode basear-se em características superficiais (ex: padrões de palavras específicos, valência de sentimento ou pistas oblíquas) que meramente correlacionam com o constructo.

O artigo identifica três opacidades cumulativas que impedem os pesquisadores de verificar se um LLM está realmente medindo um constructo teórico:

1. Opacidade Definição: Os componentes teóricos do constructo não são externalizados; o LLM recebe apenas o nome do constructo e baseia-se em suas associações internas.
2. Opacidade Inferencial: O instrumento não reporta qual evidência textual específica sustenta cada componente do constructo.
3. Opacidade Composicional: A regra que combina as pontuações dos componentes em um código final é implícita na passagem generativa do modelo, tornando impossível auditar como a decisão final foi alcançada.

Consequentemente, os métodos de validação atuais, que dependem de métricas de concordância (ex: F1, $\kappa$ de Cohen) contra o ground truth humano, falham em distinguir entre a medição genuína e a exploração de correlações espúrias.

Metodologia: Calibração de Grão (Grain Calibration)
O artigo propõe a calibração de grão, um procedimento iterativo projetado para fechar a lacuna entre a competência distributiva (o que os LLMs podem inferir de associações de palavras) e a estrutura teórica (o que um constructo exige). O método opera sob a premissa de que um constructo deve ser decomposto em unidades independentemente testáveis antes que o código final seja gerado.

O procedimento envolve três etapas arquiteturais:

1. Decomposição em Cláusulas: O constructo teórico é decomposto em seus componentes constituintes conforme definido por sua rede nomológica. Cada componente é subdividido em cláusulas — perguntas binárias sobre o que o texto deve demonstrar (ex: "O texto faz referência ao sofrimento?" vs. "O sofrimento é tratado como moralmente relevante?").
2. Fundamentação Extrativa: Cada cláusula é testada contra o texto de entrada para produzir uma pontuação acompanhada de um extrato de evidência (extractive span) — um segmento específico do texto que justifica a pontuação. Isso fecha a opacidade inferencial ao fornecer evidência auditável para cada componente.
3. Regra de Integração Explícita: As pontuações das cláusulas são combinadas em um código final usando uma regra declarada e explícita (ex: uma regressão logística regularizada ou uma regra linear) em vez de uma passagem generativa opaca. Esta regra é ajustada aos códigos humanos como ground truth, mas os pesos são interpretados em relação à teoria, não apenas para maximizar a concordância.

Principais Contribuições

• Diagnóstico da Ingenuidade Teórica: O artigo estabelece que a concordância é uma medida de confiabilidade, não de validade. Demonstra que os LLMs podem corresponder aos códigos humanos seguindo atalhos (correlatos superficiais) que falham em engajar as relações teóricas que definem o constructo.
• Operacionalização da Validade Substantiva: Baseando-se no framework de Messick, o artigo operacionaliza o "aspecto substantivo" da validade de constructo. Argumenta que a validade é conquistada não pelo escore de saída, mas pela evidência de que o processo do instrumento percorre a rede teórica do constructo.
• O Framework de Calibração de Grão: O artigo introduz uma arquitetura específica e repetível (Decomposição $\rightarrow$ Teste ao nível de cláusula $\rightarrow$ Integração explícita) que transforma uma tarefa de codificação de caixa-preta em um processo transparente e auditável.
• Distinção entre Construção e Validação: O artigo postula que construção e validação são atos simultâneos neste framework. A mesma decomposição que constrói o instrumento é o que torna sua validade inspecionável.

Resultados e Alegações
O artigo não apresenta novos dados empíricos ou um estudo de caso com resultados inéditos; em vez disso, sintetiza a literatura existente para demonstrar os modos de falha das práticas atuais de codificação por LLM (ex: o experimento mental do "robô na caverna", erros na codificação de fundamentos morais e detecção de postura).

A alegação principal é que a calibração de grão é o procedimento necessário para distinguir a medição válida da correlação espúria. O artigo argumenta que:

• Um instrumento que fecha todas as três opacidades expõe os componentes, a evidência e a regra de integração.
• Os "pesos" da regra de integração servem como uma ferramenta de diagnóstico. Se um peso atribuído a uma cláusula teoricamente essencial for próximo de zero, ou se uma única cláusula de característica superficial dominar a decisão, o instrumento é teoricamente ingênuo.
• O método permite a iteração: se os pesos ou resíduos (a lacuna entre o prompt opaco e a decomposição explícita) indicarem um descompasso com a teoria, o pesquisador pode revisar as cláusulas ou a decomposição até que o comportamento do instrumento se alinhe com as demandas teóricas do constructo.

Significância
O artigo reivindica uma significância modesta, porém fundamental. Não propõe uma nova teoria do significado nem afirma que os LLMs possuem ou carecem de compreensão. Em vez disso, aborda um ponto cego metodológico: o campo aceitou a confiabilidade (concordância) como um substituto para a validade porque faltava um procedimento para testar o processo de codificação.

Ao fornecer um mecanismo para auditar o caminho inferencial, a calibração de grão permite que o campo pergunte não apenas "O LLM concorda com o humano?", mas "O LLM concorda com o humano pelos motivos que o constructo especifica?". O artigo conclui que este procedimento define o limite dos problemas de codificação solucionáveis, distinguindo entre constructos que podem ser validamente operacionalizados através deste método e aqueles que não podem (ex: constructos gerados puramente a partir de dados sem uma rede teórica prévia). Ele posiciona o "aspecto substantivo" da validade como a peça faltante no atual cenário de avaliação de LLMs.