Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference

Título: Desacordo Estruturado em Anotação de Alfabetização em Saúde: Estabilidade Epistêmica, Dificuldade Conceitual e Inferência Estratificada por Acordo

1. O Problema

O paradigma dominante em Processamento de Linguagem Natural (NLP) assume que cada instância de texto possui uma única "verdade fundamental" (ground truth) latente, tratando a divergência entre anotadores como ruído que deve ser resolvido através de agregação (ex: votação majoritária). No entanto, abordagens "perspectivistas" desafiam essa visão, sugerindo que o desacordo pode ser informativo.
O artigo foca em um domínio específico onde essa distinção é crítica: avaliação de alfabetização em saúde (especificamente sobre COVID-19) em contextos multilíngues e de recursos limitados (Ecuador e Peru).

• O Desafio: Avaliar respostas abertas a perguntas de saúde envolve interpretar conhecimento parcial, raciocínio implícito e graus de completude.
• A Lacuna: A maioria dos estudos perspectivist foca em tarefas subjetivas (como detecção de toxicidade), ignorando tarefas de interpretação graduada que parecem "objetivas", mas que podem conter instabilidade epistêmica inerente à tarefa, não apenas inconsistência do anotador.

2. Metodologia

Os autores realizaram uma análise de larga escala de anotações graduadas em um conjunto de dados único:

• Dados: 6.323 respostas abertas de 299 participantes em comunidades Quechua/Kichwa e espanholas no Ecuador e Peru.
• Anotação: Cada resposta foi avaliada independentemente por 4 anotadores usando uma escala de corretude proporcional de 5 pontos (0, 0.25, 0.5, 0.75, 1.0), baseada em diretrizes da OMS e ministérios da saúde nacionais. Isso gerou 17.305 observações de nível de anotação.
• Abordagem Analítica:
  • Decomposição de Variância: Uso de modelos de efeitos mistos para calcular o Coeficiente de Correlação Intraclass (ICC) e determinar se a variância é causada pela identidade do anotador ou pela dificuldade conceitual da pergunta.
  • Inferência Estratificada por Acordo: As perguntas foram divididas em estratos de acordo (Alto, Médio, Baixo) usando o $\kappa$ ponderado de Fleiss. Efeitos sociodemográficos (país, educação, urbano/rural) foram reavaliados dentro de cada estrato para verificar a estabilidade das conclusões.
  • Modelagem de Linha de Base: Uso de TF-IDF e regressão logística para prever a corretude binária, estabelecendo um baseline lexical.

3. Principais Contribuições

• Evidência de Desacordo Estruturado: Demonstra que, em tarefas de avaliação de saúde graduada, o desacordo é primariamente impulsionado pela dificuldade conceitual da tarefa (a pergunta em si), e não pela inconsistência dos anotadores.
• Instabilidade da Inferência Agregada: Prova que agregar rótulos (ignorar o desacordo) pode ocultar, atenuar ou até inverter efeitos sociais reais. A conclusão sobre um grupo demográfico depende criticamente do nível de acordo entre os anotadores.
• Validação do Perspectivismo Forte: Argumenta que, para tarefas interpretativas graduadas, o modelamento perspectivist (que incorpora a variabilidade como sinal) não é apenas conceitualmente justificado, mas estatisticamente necessário para inferências válidas.
• Recurso de Dados: Disponibilização de um dos maiores conjuntos de dados públicos ligando julgamentos graduados de alfabetização em saúde a comunidades indígenas andinas.

4. Resultados Chave

• Decomposição de Variância:
  • A variância ao nível da pergunta explica 33,73% da variância total (ICC $\approx$ 0,34).
  • A variância ao nível do anotador explica apenas 1,14% (ICC $\approx$ 0,01).
  • Conclusão: O desacordo reflete a complexidade epistêmica da tarefa, não falha humana.
• Correlação com Educação: Perguntas com alta variância de resposta (ex: mecanismos de transmissão, uso de máscaras) apresentaram grandes diferenças de desempenho entre grupos de baixa e alta escolaridade, indicando que o desacordo surge onde o conhecimento é distribuído desigualmente.
• Inversão de Efeitos (Inferência Estratificada):
  • País: Sob alto acordo, o Equador teve maior precisão que o Peru. Sob acordo médio, a direção se inverteu (Peru > Equador).
  • Educação: Sob alto acordo, a educação foi um preditor forte. Sob acordo médio, o efeito desapareceu completamente. Sob baixo acordo, o efeito reapareceu, mas com magnitude reduzida.
  • Urbano vs. Rural: Sob alto acordo, urbanos superaram rurais. Sob acordo médio, rurais superaram urbanos. Sob baixo acordo, a diferença desapareceu.
• Modelagem Lexical: Embora modelos baseados em palavras (TF-IDF) tenham alta acurácia (84%), eles não eliminam a variabilidade epistêmica estrutural.

5. Significado e Implicações

• Para NLP: Desafia a prática padrão de agregação de rótulos. Em tarefas que combinam raciocínio factual com interpretação graduada, a agregação simples pode levar a conclusões científicas errôneas. O desacordo deve ser tratado como um sinal de "dificuldade epistêmica" e modelado explicitamente.
• Para Saúde Pública: A variabilidade nas anotações não é apenas ruído, mas um indicador de onde o conhecimento público é inconsistente ou onde as diretrizes oficiais não se alinham com a compreensão local.
• Metodológico: Sugere que a estabilidade epistêmica deve ser modelada explicitamente. Abordagens hierárquicas e sensíveis ao acordo permitem distinguir entre padrões de conhecimento estáveis e contextos de incerteza interpretativa, evitando a colapso de variações importantes em uma única estimativa.

Em suma, o paper demonstra que a "verdade" em avaliações de saúde graduadas é frequentemente estratificada e dependente do contexto de acordo, exigindo novas abordagens estatísticas que respeitem a estrutura do desacordo em vez de suprimi-la.