Resumo Técnico: Posicionalidade do Anotador como Sinal: Ponderação Psicométrica para Detecção de Capacitismo Anti-Autista

Declaração do Problema

Os modelos de linguagem de grande escala (LLMs) são cada vez mais implantados em pipelines de tomada de decisão, como moderação de conteúdo, onde correm o risco de amplificar ou suprimir perspectivas comunitárias. Embora pesquisas anteriores tenham identificado vieses gerais relacionados à deficiência em LLMs, os mecanismos específicos pelos quais esses modelos conceptualizam e detectam o capacitismo anti-autista permanecem pouco explorados. Um desafio crítico neste domínio é a distinção entre insider/outsider: termos ressignificados pela comunidade autista (por exemplo, "aspie", "autie") para sinalizar solidariedade podem ser mal classificados como capacitistas por sistemas automatizados ou por anotadores humanos que carecem de conhecimento fundamentado na comunidade. Além disso, métodos de avaliação padrão que dependem de agregação por votação majoritária subponderam sistematicamente as perspectivas autistas e de aceitação da autismo, tratando a identidade do anotador como ruído em vez de um sinal significativo. Isso leva a verdades de base que falham em capturar as nuances contextuais da identidade do falante, da linguagem ressignificada e do impacto comunitário.

Metodologia

Os autores propõem um framework de avaliação consciente de viés que integra ponderação psicométrica com avaliações controladas de LLMs.

1. Verdade de Base Ponderada Psicometricamente

Em vez de uma simples votação majoritária, o estudo constrói uma verdade de base ponderando os rótulos dos anotadores humanos com base em seus níveis medidos de viés e traços autistas.

• Fonte de Dados: 2.120 frases do conjunto de dados AUTALIC, rotuladas como capacitistas (1) ou não (0).
• Caracterização dos Anotadores: Os anotadores completaram três instrumentos psicométricos:
  • SATA (Atitudes Sociais em Relação ao Autismo): Mede a aceitação explícita.
  • AQ (Quociente do Espectro Autista): Quantifica traços autistas.
  • IAT (Teste de Associação Implícita): Mede vieses implícitos em relação ao autismo.
• Esquema de Ponderação: Um escore de confiabilidade composto ($R_i$) é calculado normalizando por min-max e fazendo a média dos escores dos três instrumentos (com o IAT invertido, de modo que valores mais altos indiquem menor viés). Esses escores são normalizados em relação à média da equipe para produzir um peso final ($W_i$). O rótulo de verdade de base ($\hat{y}$) é a média ponderada dos rótulos dos anotadores.
• Validação: Esta ponderação composta mostrou-se capaz de produzir uma verdade de base significativamente mais rigorosa do que a votação majoritária ($p < .001$), enquanto a ponderação apenas pelo AQ não o fez ($p = .651$).

2. Configuração de Avaliação de LLMs

• Modelos: Doze LLMs publicamente disponíveis foram avaliados, variando de 135M a 20B parâmetros, incluindo variantes instruídas, capazes de raciocínio, orientadas à segurança e sem censura.
• Condições de Prompting: Oito modelos foram testados sob sete condições distintas:
  1. Zero-Shot (ZS): Enquadramento baseado em definições.
  2. Cadeia de Pensamento (CoT): Raciocínio em três etapas (identidade do falante, palavra-chave vs. meta-contexto, avaliação de dano).
  3. Aprendizado em Contexto (ICL): Duas sub-condições usando exemplos de anotadores de alto AQ (próximos ao autismo) e baixo AQ (não autistas).
  4. Prompts de Persona: Três sub-condições variando a linguagem de identidade (Primeiro a Identidade, Primeiro a Pessoa ou neutra).
• Métricas: O acordo primário foi medido usando o $\kappa$ de Cohen contra a verdade de base ponderada. Métricas secundárias incluíram F1, precisão, recall e acurácia.

3. Avaliação Psicométrica de LLMs

Para avaliar vieses latentes, os LLMs foram submetidos aos instrumentos SATA e AQ. Para mitigar a "resposta baseada em reconhecimento" (onde os modelos imitam respostas socialmente desejáveis devido à familiaridade com os dados de treinamento), o estudo empregou uma reescrita mascarada dos instrumentos. Isso envolveu randomização de itens, variação de formulação e inclusão de itens de preenchimento e de validade (falsos) para obscurecer o propósito do questionário.

4. Análise de Erros

Uma análise de erros triangulada foi conduzida em 92 saídas amostradas de LLMs. Três analistas utilizaram lentes distintas: (1) conteúdo temático, (2) características linguísticas dos estudos da deficiência e (3) estrutura de raciocínio.

Principais Resultados

1. A Construção da Verdade de Base Não é Neutra

• Linha de Base Mais Rigorosa: O $\kappa$ ponderado psicometricamente foi consistentemente menor do que o $\kappa$ não ponderado (votação majoritária) em 56 combinações de modelo-condição (média $\delta\kappa = -0.012$). Isso confirma que a votação majoritária subrepresenta sistematicamente as perspectivas autistas.
• Lacunas de Alinhamento: Os LLMs mostraram acordo significativamente maior com anotadores "confiáveis" (escores de confiança altos) do que com anotadores "próximos ao autismo", validando a necessidade do esquema de ponderação composto.
• Variância do Modelo: Classificadores orientados à segurança (LLaMA Guard 3, GPT-OSS) superaram modelos de propósito geral, sugerindo que o treinamento de segurança específico para a tarefa codifica sensibilidade ao dano relacionado à deficiência que o prompting geral não consegue recuperar.

2. Desempenho de Classificação

• Desempenho Geral Baixo: O $\kappa$ ponderado médio foi de 0,118 e o F1 médio foi de 0,237, indicando desempenho próximo ao acaso em uma tarefa de alto risco.
• Desequilíbrio Precisão-Recall: Os modelos exibiram superclassificação sistemática (alto recall, baixa precisão), sinalizando termos ressignificados pela comunidade como capacitistas.
• Limitações de Prompting:
  • CoT: Embora a Cadeia de Pensamento eliminasse o "desvio de tópico" (justificar rótulos não capacitistas alegando que o texto não é sobre autismo), ela não conseguiu melhorar significativamente o "raciocínio de posicionalidade" (compreender a identidade do falante).
  • ICL e Personas: O aprendizado em contexto e os prompts de persona não melhoraram consistentemente o desempenho; em alguns casos, desestabilizaram modelos de alto desempenho.

3. Falhas de Raciocínio

A análise de erros identificou quatro modos de falha primários:

1. Raciocínio Baseado na Forma Superficial: Os modelos confiaram pesadamente na correspondência de palavras-chave (41% dos excertos) em vez do contexto. Frequentemente, rotularam erroneamente termos ressignificados (por exemplo, "aspie") como capacitistas e perderam enquadramentos baseados em défice que careciam de palavras-chave negativas.
2. Cegueira de Posicionalidade: O raciocínio explícito sobre a identidade do falante foi raro (10% no total, 13% sob CoT) e ausente em condições zero-shot.
3. Desvio de Tópico: Os modelos frequentemente justificaram rótulos não capacitistas alegando que o texto não dizia respeito ao autismo, um comportamento eliminado pelo CoT, mas substituído por outros erros.
4. Alucinação e Estereótipos: Os modelos invocaram estereótipos e, em alguns casos, alucinaram tópicos (por exemplo, identificar erroneamente uma frase sobre a Autism Speaks como antissemitismo).

4. Vieses Latentes em LLMs

• Mascaramento Revela Viés: Quando as pistas de reconhecimento do instrumento foram mascaradas, os LLMs mostraram uma divergência significativa nas respostas: os escores do SATA diminuíram (indicando menor aceitação) e os escores do AQ aumentaram (indicando traços autistas mais altos na faixa clínica) em comparação com os instrumentos originais.
• Interpretação: Isso sugere que os auto-relatos padrão de LLMs elicitem respostas socialmente desejáveis que ocultam atitudes latentes anti-autistas.

Significado e Alegações

O artigo afirma fornecer um modelo replicável para avaliação fundamentada na comunidade e consciente de viés na detecção de linguagem prejudicial. Suas principais contribuições são:

1. Metodológica: Demonstrar que a ponderação psicométrica cria uma verdade de base mais rigorosa e precisa do que a votação majoritária para detectar capacitismo anti-autista, especificamente ao aumentar o peso dos anotadores com altos traços autistas e baixo viés implícito.
2. Empírica: Revelar que os LLMs atuais, mesmo com estratégias de prompting avançadas como CoT e personas, falham em raciocinar além de palavras-chave de nível superficial em relação à identidade do falante e à linguagem ressignificada.
3. Diagnóstica: Mostrar que avaliações psicométricas mascaradas expõem vieses anti-autistas latentes em LLMs que estão ocultos por mecanismos padrão de auto-relato.

Os autores concluem que o ajuste fino específico para a tarefa em dados rotulados pela comunidade é uma pré-condição para desempenho adequado à implantação neste domínio, e não um aprimoramento opcional. Eles enfatizam que os modelos atuais operam com acurácia próxima ao acaso em tarefas que afetam comunidades autistas, destacando a necessidade urgente de frameworks de avaliação que centrem perspectivas comunitárias e posicionalidade.