Resumo Técnico: Quando a Certeza é um Artefato

Definição do Problema

A ciência social computacional (CSS) frequentemente recorre a léxicos de palavras-chave para medir a postura retórica, especificamente a relação entre a valência afetiva (positiva/negativa) e a modalidade retórica (certeza/atenuantes ou hedging). Uma premissa predominante na literatura é que o discurso negativo é entregue com atenuantes para gerir o risco reputacional, enquanto o discurso positivo é entregue com certeza. No entanto, este artigo investiga se achados estatisticamente significativos neste domínio são padrões retóricos genuínos ou artefatos do próprio instrumento de medição.

Os autores identificam uma lacuna metodológica crítica: os instrumentos padrão baseados em palavras-chave (bag-of-words) falham em resolver a negação sintática, a polissemia e o escopo do modificador. Consequentemente, podem confundir a coocorrência lexical superficial com o significado semântico profundo. A questão central de pesquisa é se o acoplamento observado entre conteúdo negativo e certeza enfática é uma estratégia retórica específica do orador ou um artefato de medição universal causado pelas limitações da contagem de palavras-chave.

Metodologia

O estudo emprega um design de instrumento duplo para validar as medições contra uma "verdade fundamental" (ground truth) derivada de Grandes Modelos de Linguagem (LLMs).

1. Construção do Corpus

Os autores curaram um corpus longitudinal de 85 entrevistas no YouTube apresentando quatro intelectuais públicos com perfis de discurso distintos:

• Ray Dalio (Investidor macro): 35 vídeos (2016–2026), exibindo uma quebra estrutural de frequência pós-2025.
• Cathie Wood (Tecno-otimista): 17 vídeos.
• Kenneth Rogoff (Economista acadêmico): 17 vídeos.
• Peter Zeihan (Estrategista geopolítico): 16 vídeos.

Tamanho total do corpus: 498.200 palavras e 32.625 sentenças.

• Pré-processamento: As legendas brutas geradas automaticamente foram processadas usando diarização de locutor assistida por LLM (DeepSeek-V4-Flash) para separar a fala do convidado das interjeições do entrevistador, um passo crítico para remover o ruído que anteriormente obscurecia padrões específicos do locutor.

2. Instrumento A: Pontuação por Léxico de Palavras-Chave

Um léxico de sentimentos multidimensional personalizado foi construído para separar a Valência Afetiva (Positiva/Negativa) da Modalidade Retórica (Enfática/Certa vs. Atenuada/Duvidosa).

• Mecanismo: O léxico conta tokens superficiais (ex: "sempre", "nunca", "crise") e aplica regras básicas de inversão de negação.
• Métrica: Frequências normalizadas mensais foram calculadas, e correlações de Pearson ($r$) foram computadas entre a frequência de Valência Negativa e a frequência de Modalidade Enfática/Certa.
• Teste de Robustez: A análise foi replicada usando dois léxicos de referência independentes e amplamente citados (LIWC-22 e as listas de Hyland de 2005) para garantir que os achados não fossem específicos da lista de palavras curada pelos autores.

3. Instrumento B: Classificação Semântica Baseada em LLM

Para fornecer uma validação sensível ao contexto, todo o corpus (32.625 sentenças) foi processado via classificação semântica zero-shot através do Doubao-Seed-2.0-Lite.

• Tarefa: Cada sentença foi classificada simultaneamente em dois eixos: Valência (positiva/negativa/neutra) e Modalidade (enfática/atenuada/neutra).
• Validação: Um teste de robustez entre modelos foi realizado usando GPT-5.4 em 10 amostras aleatórias independentes (100 sentenças cada) para verificar se os achados não eram artefatos dos dados de treinamento de um único modelo.

4. Análise de Erro

Uma auditoria ao nível da sentença foi realizada em 547 sentenças sinalizadas como "alta certeza" pelo léxico de palavras-chave, mas classificadas de forma diferente pelo LLM, categorizando as falhas em pontos cegos linguísticos específicos.

Principais Resultados

1. O Artefato da Palavra-Chave

Sob a pontuação baseada em palavras-chave, todos os quatro locutores exibiram uma forte correlação positiva estatisticamente significativa entre afeto negativo e certeza enfática:

• Dalio: $r = 0,851$ ($p < 0,001$)
• Rogoff: $r = 0,917$ ($p < 0,001$)
• Zeihan: $r = 0,932$ ($p < 0,001$)
• Wood: $r = 0,725$ ($p = 0,003$)

Este padrão foi universal entre os locutores com personas radicalmente diferentes (otimistas vs. pessimistas, acadêmicos vs. investidores) e persistiu através de três léxicos de palavras-chave diferentes (Custom, LIWC-22, Hyland). Isso sugere que a correlação é uma propriedade estrutural da contagem de palavras-chave, e não uma estratégia retórica.

2. A Reversão do LLM

Quando o mesmo corpus foi analisado via classificação semântica baseada em LLM, as fortes correlações positivas desapareceram ou inverteram-se:

• Dalio: $r(neg, emph) = 0,206$($p = 0,371$, não significativo).
• Wood: $r(neg, emph) = -0,514$($p = 0,060$).
• Zeihan: $r(neg, emph) = -0,223$($p = 0,487$).
• Rogoff: $r(neg, emph) = 0,063$($p = 0,864$).

Em vez disso, o LLM revelou um acoplamento negativo-atenuado consistente com a teoria linguística convencional (pessimistas utilizam atenuantes):

• Rogoff: $r(neg, hedged) = 0,875$($p = 0,001$).
• Zeihan: $r(neg, hedged) = 0,722$($p = 0,008$).

3. Robustez entre Modelos

Os achados do LLM confirmaram ser independentes do provedor de modelo específico. O Doubao-Seed-2.0-Lite e o GPT-5.4 produziram estimativas de correlação estatisticamente indistinguíveis tanto para métricas de atenuação quanto de ênfase ($p > 0,24$ para todas as comparações), validando o padrão substantivo.

4. Modos de Falha Estrutural

A análise de erro ao nível da sentença identificou três mecanismos específicos pelos quais os léxicos de palavras-chave invertem o significado semântico:

1. Cegueira Sintática: Falha em analisar estruturas de negação (ex: "nunca absolutamente confiante" é pontuado como alta certeza em vez de baixa confiança).
2. Cegueira de Polissemia: Incapacidade de distinguir significados dependentes do contexto (ex: "um certo corpo" vs. "certamente").
3. Ausência Categórica: Modificadores de suavização (ex: "tipo de", "quase", "eu acho") carecem de categorias dedicadas e falham em atenuar os escores de marcadores de certeza adjacentes.

Principais Contribuições

1. Demonstração de Artefatos de Medição: O artigo fornece evidência empírica de que correlações fortes e estatisticamente significativas na CSS (especificamente o acoplamento negativa-certeza) podem ser inteiramente artefatos do instrumento de medição. Mostra que a contagem de palavras-chave mede uma tendência universal de coocorrência lexical (temas sérios atraem linguagem séria) que é ortogonal a, e pode sistematicamente inverter, a real postura retórica.
2. Tipologia de Erro para Auditoria de Léxico: Os autores propõem um framework reutilizável para auditar instrumentos baseados em palavras-chave, identificando três modos de falha estrutural (cegueira sintática, cegueira de polissemia, ausência categórica) que explicam por por que as representações bag-of-words falham em capturar a modalidade.
3. Framework de Validação para CSS: O estudo estabelece um template de validação de quatro etapas para pesquisas futuras:
   • Testar a generalização entre locutores/domínios.
   • Validar contra classificadores semânticos sensíveis ao contexto de população total (LLMs).
   • Replicar a validação com modelos treinados independentemente para excluir o viés do provedor.
   • Realizar análise de erro ao nível da sentença para diagnosticar falhas linguísticas específicas.

Significância e Alegações

O artigo argumenta que tratar contagens de palavras-chave como medições diretas de certeza epistêmica constitui um erro de categoria. Um achado que parece ser sobre a psicologia de um locutor (ex: "Dalio está cada vez mais certo sobre o apocalipse") pode ser inteiramente sobre a contagem de palavras.

Os autores não afirmam que os métodos de palavras-chave devam ser abandonados, reconhecendo sua interpretabilidade e eficiência. No entanto, eles afirmam que fortes correlações baseadas em palavras-chave devem ser interpretadas como sinais de coocorrência lexical, não como postura retórica, a menos que validadas por métodos sensíveis ao contexto. O estudo conclui que, quando um instrumento computacional produz um achado surpreendente, o próprio instrumento merece tanta escrutínio quanto o locutor que ele afirma medir. O "efeito Dalio" observado nos dados não era sobre Dalio, mas sobre as limitações do mecanismo de contagem.