Resumo Técnico: Quantificando as Fontes de Instabilidade na Análise de Posicionamento em Discurso Público Baseada em LLM

Definição do Problema

A ciência social computacional (CSS) depende cada vez mais de pipelines de pré-processamento automatizados — especificamente diarização de locutor, reconhecimento automático de fala (ASR), limpeza de transcrição e segmentação de sentenças — para converter mídia bruta em texto analisável. Embora exista uma literatura significativa sobre a validade da anotação (por exemplo, se os rótulos de LLM coincidem com julgamentos humanos), há uma lacuna crítica na compreensão de duas fontes de instabilidade a montante:

1. Validade do Pré-processamento: Se as escolhas no pipeline de pré-processamento (ex: método de diarização, regras de segmentação) alteram conclusões estatísticas subsequentes.
2. Validade da Mensuração: Se a escolha do instrumento de anotação (LLM vs. léxico de palavras-chave) gera conclusões diferentes mesmo quando aplicado ao mesmo texto pré-processado.

Essas duas fontes de instabilidade são frequentemente confundidas, dificultando o diagnóstico de se a instabilidade observada nos achados de pesquisa se origina do pipeline de processamento de dados ou do próprio método de mensuração.

Metodologia

Os autores propõem um framework de análise de sensibilidade de pipeline para separar sistematicamente essas fontes de variação. O estudo utiliza um corpus de 256 entrevistas do YouTube apresentando 41 figuras públicas em cinco domínios: Finanças/Investimentos, Academia/Economia, Banco Central/Política, Geopolítica/Estratégia e Mídia/Comentário.

Desenho Experimental

O estudo compara duas variáveis distintas:

1. Dois Pipelines de Pré-processamento:
   • Baseado em VTT: Analisa arquivos de legendas do YouTube, remove artefatos de duplicidade e utiliza um LLM (DeepSeek-V4-Flash) para classificação binária de locutor ("convidado" vs. "entrevistador").
   • Baseado em Áudio (AssemblyAI): Utiliza uma API comercial para ASR e diarização de locutor, identificando o locutor dominante pelo número de palavras como o convidado.
2. Dois Métodos de Mensuração:
   • Anotação por LLM: Anotação zero-shot de valência (positivo/negativo/neutro) e modalidade epistêmica (enfática/atenuada/neutra) utilizando DeepSeek-V4-Flash.
   • Pontuação por Léxico de Palavras-Chave: Uma abordagem baseada em regras usando um léxico predefinido de padrões para valência negativa/positiva e modalidade, normalizado pela extensão de caracteres do vídeo.

Framework de Diagnóstico

Os autores definem duas métricas para quantificar a instabilidade:

• Divergência de Pipeline ($\Delta_{pipeline}$): A mudança em uma métrica derivada (especificamente a correlação de Pearson $r$ entre valência negativa e modalidade enfática) ao alternar o pipeline de pré-processamento para o mesmo método de mensuração.
• Divergência de Método ($\Delta_{method}$): A diferença absoluta na métrica ao alternar entre os métodos de LLM e léxico de palavras-chave no mesmo texto pré-processado.

A análise foca em correlações por locutor ($r(neg, emph)$e$r(neg, hedged)$), excluindo locutores com menos de 4 vídeos para evitar correlações espúrias decorrentes de amostras pequenas.

Principais Resultados

1. A Sensibilidade de Pipeline é Limitada e Dependente do Tamanho da Amostra

• Concentração em Locutores com Baixo N: A sensibilidade de pré-processamento está fortemente concentrada em locutores com amostras limitadas ($N \le 5$). Para esses locutores, a mudança média absoluta na correlação ($|\Delta r|$) é alta (0,44), e reversões de sinal são comuns.
• Estabilidade em Locutores Bem Amostrados: Para os quatro locutores mais bem amostrados ($N \ge 16$), o $|\Delta r|$ médio induzido pela escolha do pipeline é de apenas 0,13 sob anotação de LLM. Nenhum locutor bem amostrado excedeu um $\Delta r$ de 0,19.
• Variação de Domínio: A sensibilidade varia por domínio. O discurso midiático mostrou a maior robustez de pipeline ($|\Delta r| = 0,32$ sob LLM), enquanto Finanças e Academia foram os mais sensíveis (0,46).

2. O Desacordo entre Métodos é a Ameaça Dominante

• Magnitude do Desacordo: A divergência do método de mensuração é significativamente maior e mais sistemática do que a divergência de pipeline. Entre todos os 41 locutores, o $\Delta_{method}$ médio (0,76) é quase o dobro do $\Delta_{pipeline}$ médio (0,41).
• Reversão de Sinal Sistemática: Os métodos de LLM e léxico de palavras-chave atribuem direções de acoplamento opostas (reversões de sinal) em 49% dos casos. Isso ocorre mesmo em locutores bem amostrados (ex: Rogoff com 17 vídeos), onde ambos os métodos são internamente estáveis. Por exemplo, para Rogoff, a divergência de pipeline foi de 0,19, mas a divergência de método no mesmo pipeline VTT foi de 0,90.
• Mascaramento Agregado: As proporções agregadas de valência permanecem altamente estáveis ($|\Delta p(neg)| < 6$ pontos percentuais) independentemente do pipeline ou método. Essa estabilidade mascara a instabilidade substancial presente nas correlações multidimensionais.

3. O Domínio Modula a Sensibilidade

Estilos de comunicação profissional modulam como as escolhas de pré-processamento se propagam para as mensurações. Por exemplo, marcadores de atenuação acadêmica e intensificadores midiáticos exibem diferentes robustez à fragmentação de sentenças (um subproduto da segmentação VTT) em comparação ao discurso geopolítico.

Principais Contribuições

1. Framework de Diagnóstico: O artigo introduz um framework de diagnóstico de duas fontes que separa os efeitos do pipeline de pré-processamento dos efeitos do método de mensuração, fornecendo um método prático para pesquisadores relatarem e analisarem ambas as fontes de instabilidade.
2. Limites Empíricos da Sensibilidade de Pipeline: Fornece evidências de que a sensibilidade de pré-processamento é previsível. Para locutores adequadamente amostrados ($N \ge 16$), o impacto das escolhas de pré-processamento nas conclusões correlacionais é limitado ($|\Delta r| \approx 0,13$).
3. Identificação da Validade de Mensuração como Principal Ameaça: O estudo demonstra que o desacordo entre métodos é uma ameaça à validade mais severa do que a divergência de pré-processamento. Conclusões sobre o acoplamento da valência afetiva e da modalidade epistêmica podem ser sistematicamente alteradas pela escolha do instrumento de anotação, mesmo quando o pipeline de pré-processamento é mantido constante.

Significância e Alegações

O artigo argumenta que pesquisadores que estudam relações multidimensionais em dados de entrevistas devem verificar se suas conclusões são robustas a ambas as fontes de variação. Os autores alegam que:

• As escolhas de pré-processamento importam, mas são limitadas: Embora as escolhas de pipeline afetem os resultados, a magnitude desse efeito é previsível e gerenciável para locutores com dados suficientes.
• A escolha de mensuração é crítica: A escolha entre anotação por LLM e léxicos de palavras-chave pode fundamentalmente reverter conclusões científicas (ex: mudar uma correlação positiva para uma negativa).
• Padrões de Relato: Pesquisadores de CSS devem separar explicitamente essas duas fontes de instabilidade em seus relatos. Uma correlação que sobrevive tanto a um pipeline de pré-processamento alternativo quanto a um método de mensuração alternativo é considerada mais credível do que uma validada dentro de uma única combinação de pipeline-método.

Os autores mantêm uma postura modesta, reconhecendo limitações como o uso de um único provedor de LLM, um corpus apenas em inglês e a incapacidade de isolar totalmente os efeitos de diarização dos efeitos de segmentação de sentença em seu design atual. Eles não alegam que um método é universalmente "correto", mas que a própria divergência é um sinal diagnóstico que requer investigação.