Beyond Black-Box Labels: Interpretable Criteria for Diagnosing SubjectiveNLP Tasks

Título: Além de Rótulos de Caixa-Preta: Critérios Interpretáveis para Diagnosticar Tarefas Subjetivas de PLN

1. O Problema

O campo de Processamento de Linguagem Natural (PLN) está passando por uma mudança crítica, onde muitos benchmarks medem julgamentos humanos subjetivos (como detecção de toxicidade, análise de sentimento ou extração de valor persuasivo) em vez de fatos objetivos.

• Limitação Atual: A prática padrão agrega múltiplos julgamentos de anotadores em um único "rótulo de ouro" (gold label) via votação majoritária. Isso colapsa o desacordo em "ruído", tratando avaliações subjetivas como verdades objetivas.
• Consequência: Em tarefas de alto risco ou de "início frio" (sem normas comunitárias estabelecidas), essa opacidade mascara falhas reais no esquema de anotação. O desacordo pode surgir de três fontes distintas, mas indistinguíveis sob o modelo atual:
  1. Critérios mal especificados: Limites difusos que tornam a operacionalização difícil.
  2. Sobreposição sistemática: Distinções que se sobrepõem, borrando as fronteiras entre categorias mutuamente exclusivas.
  3. Pluralidade legítima: Múltiplas interpretações válidas do mesmo conteúdo.
• Gap: Métodos existentes analisam desacordos no nível de itens ou anotadores, mas raramente testam a adequação do esquema de anotação antes da criação dos rótulos finais, impedindo a correção estrutural das diretrizes.

2. Metodologia: Diagnóstico de Esquema

Os autores propõem um diagnóstico no nível do esquema que avalia esquemas projetados por especialistas usando apenas julgamentos de critérios de múltiplos anotadores, sem assumir um rótulo "verdadeiro" latente.

Estrutura Formal

O esquema de tarefa é definido como $T = (C, Q, \mu)$:

• $C$: Conjunto de categorias (ex: Persuasivo, Não-Persuasivo).
• $Q$: Conjunto de critérios binários definidos por especialistas (perguntas Sim/Não).
• $\mu$: Mapeamento de cada critério para a categoria que ele suporta.

Métricas Principais

O diagnóstico analisa a estabilidade e a separabilidade dos critérios baseando-se em um tensor de respostas binárias ($Y$) de múltiplos anotadores (humanos ou LLMs):

1. Conjunto de Foco ($\Omega_{q,t}$): Restringe a análise apenas às unidades onde o critério $q$ foi ativado por pelo menos $t$ anotadores, evitando que a ausência universal mascare ambiguidades de fronteira.
2. Estabilidade do Critério:
   • Analisa a distribuição de votos condicionada ao engajamento.
   • Identifica instabilidade quando há divisões de votos persistentes (ex: 3-2 ou 2-3) em vez de consenso, indicando limites mal definidos.
   • Métricas: Taxa de Unanimidade (UY), Divisão Assimétrica (AS) e Empate Próximo (NT).
3. Separabilidade do Critério:
   • Avalia se critérios diferentes são ativados simultaneamente na mesma unidade.
   • Identifica sobreposição (overlap) quando múltiplos critérios (e suas categorias induzidas) co-ativam, tornando a atribuição de um único rótulo ambígua.
   • Usa Sobreposição Condicional Direcionada para distinguir entre redundância (subconjunto) e entrelaçamento estrutural.

3. Estudo de Caso: Extração de Valor Persuasivo (PVE)

O método foi aplicado à tarefa de Extração de Valor Persuasivo (PVE) em documentos comerciais B2B, onde o objetivo é categorizar sentenças que justificam uma compra em quatro categorias mutuamente exclusivas:

1. Não-Persuasivo (Descritivo).
2. Desempenho & Eficiência.
3. Experiência do Usuário & Valor da Marca.
4. Obrigação & Segurança.

Configuração Experimental:

• Corpus: 4.701 sentenças extraídas de 65 documentos comerciais.
• Anotadores: Um painel de 5 Grandes Modelos de Linguagem (LLMs) distintos (GPT-4, Llama, Mistral, Qwen) atuando como "sonda" para estressar os critérios escritos.
• Validação Humana: 500 sentenças anotadas por 5 especialistas do domínio para validar se os sinais do diagnóstico correspondem ao desacordo humano.

4. Resultados Principais

A. Instabilidade Sistêmica e Concentrada

• O desacordo não é difuso; ele se concentra em um pequeno subconjunto de critérios.
• Exemplo: O critério "Requisito Obrigatório" ($q_9$) apresentou a maior taxa de "empates próximos" (38,2%), indicando que sua definição é operacionalmente difícil, mesmo quando ativado.
• Causa: A instabilidade muitas vezes surge porque os critérios exigem inferências implícitas que não estão ancoradas em evidências textuais explícitas.

B. Multidimensionalidade Estrutural (Sobreposição)

• A premissa de classificação de rótulo único falha em 44,6% das sentenças cobertas (onde o esquema é ativado).
• Descoberta Chave: Sentenças frequentemente ativam múltiplas categorias simultaneamente (ex: eficiência operacional e valor de marca).
• Fronteira Crítica: A maior sobreposição ocorre entre as categorias Desempenho & Eficiência ($c_1$) e Experiência do Usuário & Valor da Marca ($c_2$). Isso sugere que a persuasão comercial é inerentemente multidimensional nessas fronteiras, e forçar uma escolha única cria ambiguidade sistemática.

C. Validação Humana

• Os sinais do diagnóstico (instabilidade e sobreposição) correlacionam-se fortemente com o desacordo dos especialistas humanos.
• Sentenças marcadas como "co-ativadas" pelo diagnóstico mostraram taxas de divisão entre especialistas significativamente maiores do que sentenças de categoria única.
• Isso confirma que o diagnóstico revela falhas estruturais no esquema, e não apenas artefatos dos modelos de linguagem utilizados.

5. Contribuições Chave

1. Diagnóstico Pré-Rótulo: Uma metodologia para auditar esquemas de anotação antes de comprometer-se com rótulos de ouro, usando apenas julgamentos de critérios.
2. Separação de Falhas: Distinção clara entre dois modos de falha acionáveis:
   • Instabilidade de Critério: Requer refinamento das diretrizes e ancoragem em evidências textuais.
   • Sobreposição Estrutural: Requer reestruturação das categorias, políticas de desempate explícitas ou mudança de paradigma (ex: para anotação multi-rótulo).
3. Uso de LLMs como Sondas: Demonstra que painéis de LLMs podem ser usados de forma robusta para estressar critérios escritos e revelar falhas de design, desde que validados contra o comportamento humano.
4. Mapeamento de Intervenção: Transforma o desacordo de um "ruído" a ser eliminado em um "sinal" de design que guia a revisão iterativa do esquema.

6. Significado e Impacto

O trabalho propõe uma mudança de paradigma na criação de benchmarks de PLN subjetivo:

• De Consenso para Estrutura: O objetivo não é mais apenas maximizar a unanimidade (que pode mascarar regras ambíguas), mas entender a estrutura da tarefa.
• Decisões Normativas Explícitas: O diagnóstico força os pesquisadores a tornarem explícitas as escolhas de design (ex: "quando múltiplas dimensões estão presentes, qual priorizar?").
• Reprodutibilidade e Transparência: Ao fornecer dados e código abertos, o trabalho permite que a comunidade audite seus próprios esquemas, movendo-se de anotações "caixa-preta" para recursos interpretáveis e deliberados.

Em resumo, o artigo oferece uma ferramenta prática para engenheiros de dados e pesquisadores identificarem onde e por que seus esquemas de anotação falham, permitindo correções baseadas em evidências antes que os dados sejam usados para treinar modelos.