Resumo Técnico: A Presunção de Proxy: De Embeddings Semânticos a Medidas Sociais Válidas

1. Declaração do Problema: A Presunção de Proxy

O artigo identifica uma crise fundamental de validade na aplicação de Processamento de Linguagem Natural (PLN) à Ciência Social Computacional (CSC). Embora o PLN seja cada vez mais utilizado para medir construtos sociais latentes (por exemplo, novidade, criatividade, viés, ideologia) por meio de embeddings semânticos, o campo baseia-se em uma "Presunção de Proxy". Essa presunção assume que propriedades geométricas dos espaços de embedding (por exemplo, distância ou similaridade cosseno) servem como medidas diretas e válidas de conceitos sociais teóricos, sem validação empírica suficiente.

Os autores argumentam que essa abordagem constitui um problema de não-identificação. Embeddings não supervisionados comprimem múltiplos fatores gerativos em uma única representação, emaranhando o construto-alvo ($C$) com atributos de ruído ($Z$), como tópico, estilo, registro, autoria e comprimento. Sem desentrelaçamento explícito ou controles baseados em desenho, métricas padrão frequentemente capturam variância metodológica (por exemplo, mudanças de tópico ou alterações de vocabulário) em vez do fenômeno social pretendido. O artigo formaliza isso como um problema inverso mal posto, onde recuperar um construto latente a partir de texto observado é teoricamente impossível sem suposições estruturais ou intervenções.

2. Framework Metodológico

2.1 Formalização Teórica

Os autores modelam a geração de documentos como um processo estocástico $p_\theta(D | c, z)$, onde $D$ é o documento, $c$ é o construto-alvo escalar e $z$ é um vetor de atributos de ruído.

• Ambiguidade Rotacional: Baseando-se em aprendizado de representação causal (Locatello et al., 2019; Schölkopf et al., 2021), o artigo prova que objetivos não supervisionados que maximizam a verossimilhança dos dados não conseguem distinguir entre a base latente verdadeira e uma base arbitrariamente rotacionada. Consequentemente, a dimensão de embedding aprendida usada para medição é uma mistura inextricável de $c$ e $z$.
• Indeterminação de Métrica: Mesmo com um codificador perfeitamente desentrelaçado, a aplicação de funções geométricas (como similaridade cosseno ou distância euclidiana) a embeddings completos falha, pois a métrica pode ser dominada pela variância de ruído ($z$) em vez da variância do construto ($c$). Por exemplo, alta similaridade cosseno pode refletir tópicos compartilhados em vez de similaridade conceitual.

2.2 Intervenções Propostas

Para mitigar o emaranhamento, o artigo descreve uma estratégia de intervenção em três níveis:

1. Desentrelaçamento de Entrada: Pré-processamento do texto para reduzir a dependência de $Z$ (por exemplo, extração apenas de trechos relevantes ao construto via LLMs, normalização estilística ou mascaramento de entidades).
2. Desentrelaçamento de Representação: Treinamento de codificadores para suprimir $Z$ enquanto preservam $C$, usando remoção adversarial, projeção no espaço nulo ou aprendizado contrastivo.
3. Desentrelaçamento Metodológico: Projeto de funções de pontuação que cancelam contribuições de ruído. Os autores propõem Neutralização Contrafactual, onde uma medição é definida como a diferença entre um embedding observado e um embedding "neutralizado" contrafactual (onde o sinal do construto é minimizado, mas $Z$ é preservado).

2.3 O Protocolo de Validade de Construto (CVP)

A contribuição central é o Protocolo de Validade de Construto (CVP), um pipeline padronizado adaptado da psicometria e da inferência causal para validar medidas baseadas em embeddings. Ele consiste em três fases:

• Fase 1: Conceitualização: Estabelecimento de validade de face e conteúdo por meio de escrutínio de especialistas. Isso envolve definir o construto, enumerar dimensões de ruído e criar um conjunto de âncora de "grupos conhecidos" (exemplos altos, baixos e limítrofes) para auditar limites de decisão.
• Fase 2: Operacionalização: Projeto de instrumentos que reduzem o emaranhamento usando as intervenções descritas acima.
• Fase 3: O Conjunto de Validade: Um framework estruturado de relatórios (um "Cartão de Validade") que exige cinco tipos específicos de evidência:
  1. Confiabilidade/Estabilidade: Teste de robustez contra perturbações (variantes de codificador, parafraseamento de prompts) usando Coeficientes de Correlação Intraclasse (ICC).
  2. Validade Convergente: Correlação com uma medida externa independente e "padrão-ouro" do mesmo construto.
  3. Validade Discriminante e Incremental: Provar que a medida é distinta de fatores de ruído (por exemplo, tópico, comprimento) e adiciona poder explicativo além deles para um rótulo de validação externo.
  4. Validade de Grupos Conhecidos: Demonstrar que a medida separa grupos de construto altos e baixos pré-especificados.
  5. Evidência Relacionada a Critérios: Prever resultados downstream na direção teorizada, controlando variáveis de ruído fortes.

3. Resultados Principais e Análise Empírica

3.1 Exemplo Prático (GoEmotions)

Os autores aplicaram o CVP ao conjunto de dados GoEmotions para medir "gratidão".

• Confiabilidade: Ao variar codificadores, métodos de agrupamento e normalização, alcançaram alta estabilidade (ICC(2,1) = 0,8467).
• Validade Discriminante: Uma análise de regressão mostrou que a pontuação proxy era amplamente recuperável a partir de características de tópico ($R^2 = 0,7762$), indicando emaranhamento significativo com variáveis de ruído.
• Validade Incremental: Apesar do emaranhamento, adicionar a proxy a um modelo contendo apenas características de ruído melhorou significativamente a previsão de rótulos humanos (AUC aumentou de 0,9658 para 0,9831), demonstrando que o sinal do construto existe, mas está misturado com ruído.
• Análise de Erros: A auditoria revelou modos de falha específicos, como falsos positivos onde "obrigado" foi usado de forma sarcástica, destacando a necessidade da auditoria de "grupos conhecidos" na Fase 1.

3.2 Revisão Forense da Literatura

Os autores conduziram uma análise forense de 17 artigos influentes (2020–2025) que propõem métricas computacionais para construtos sociais.

• Achados: Embora a maioria dos artigos fornecesse definições de construto e evidências de face/conteúdo (muitas vezes por meio de exemplos qualitativos), eles careciam amplamente de evidências rigorosas de identificação.
  • Validade Discriminante: 0 artigos demonstraram plenamente a validade discriminante (excluindo a substituição por ruído).
  • Validade Convergente: Apenas 1 artigo estabeleceu convergência contra um instrumento independente na mesma unidade de análise.
  • Identificação Causal: Nenhum dos artigos amostrados utilizou métodos de identificação causal para isolar construtos de confundidores; a confiança foi colocada em heurísticas ou controles associativos.
• Conclusão: A literatura frequentemente documenta que um proxy é definido e estável o suficiente para ser computado, mas raramente demonstra que ele isola o construto pretendido. Isso cria um risco da "Falácia Jangle", onde diferentes artigos afirmam medir o mesmo construto, mas na verdade estão rastreando diferentes misturas de sinal e ruído.

4. Contribuições Principais

1. Resultado de Não-Identificação: Formalizar por que métricas não supervisionadas não podem recuperar construtos latentes de forma confiável sem suposições ou intervenções explícitas, provando que independência estatística não implica desentrelaçamento.
2. Soluções Metodológicas: Propor Neutralização Contrafactual e conectá-la a ferramentas existentes de debiasing (remoção adversarial, projeção no espaço nulo).
3. O Protocolo de Validade de Construto (CVP): Fornecer um padrão de relatórios voltado para a comunidade que vai da conceitualização a um Cartão de Validade estruturado, garantindo que as medidas sejam cientificamente defensáveis.
4. Evidência Forense: Documentar a prevalência da Presunção de Proxy na literatura recente, mostrando uma lacuna sistemática entre proxies geométricos e medidas sociais válidas.

5. Significado e Alegações

O artigo posiciona-se como uma contribuição de posição e síntese, não um padrão final. Seu significado principal reside em:

• Mudar o Ônus da Prova: Argumentar que "medição por renomeação" (equiparar distância geométrica a conceitos sociais) é insuficiente. A validade deve ser demonstrada empiricamente, não assumida.
• Habilitar Ciência Cumulativa: Ao padronizar o relatório de validade (por meio do Cartão de Validade), o protocolo visa tornar os resultados comparáveis entre estudos e reduzir o risco de vazamento de tópico/estilo se passando por sinais sociais.
• Defender Inferência Downstream: Enfatizar que, se a construção de variáveis carece de validade, nenhum método causal de ML downstream pode estabelecer causalidade de forma rigorosa.

Os autores afirmam explicitamente que não visam proibir o uso de proxies, mas torná-los testáveis. Eles reconhecem limitações, observando que sua codificação reflete práticas reportadas (que podem subcontabilizar análises não publicadas) e que o próprio CVP requer iteração adicional e estudos de caso empíricos prospectivos para quantificar custos práticos e modos de falha. O objetivo é transformar proxies heurísticos em instrumentos robustos e cientificamente defensáveis para a Ciência Social Computacional.