Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales

1. Problema e Motivação

O trabalho aborda a limitação das abordagens tradicionais de Processamento de Linguagem Natural (PLN) que buscam um único rótulo de consenso (votação majoritária), ignorando a diversidade inerente nas anotações humanas. O campo do NLP Perspectivista argumenta que as anotações devem refletir os julgamentos individuais dos anotadores, reconhecendo que divergências surgem de diferenças de background, interpretação e contexto sociodemográfico.

O problema central identificado é que, embora existam métodos para modelar rótulos desagregados (por anotador), as explicações (racionais) fornecidas pelos anotadores raramente são integradas explicitamente no modelo. As explicações existentes são frequentemente tratadas como justificativas post-hoc (após a decisão) ou são abstraídas, não capturando a nuance do "porquê" de uma decisão específica de um anotador. O objetivo deste trabalho é preencher essa lacuna, modelando simultaneamente a previsão de rótulos e a geração de explicações condicionadas à identidade e ao perfil de cada anotador.

2. Metodologia

Os autores propõem um framework que integra a modelagem de perspectivas com a geração de explicações, utilizando o dataset VariErrNLI (que contém rótulos NLI desagregados e explicações fornecidas pelos anotadores).

Componentes Principais:

1. Classificador Consciente do Anotador (User Passport):

   • Utiliza o modelo base DeBERTa-v3-base.
   • Implementa o mecanismo de "User Passport", que incorpora a identidade do anotador e metadados demográficos (gênero, idade, nacionalidade, educação) diretamente no nível da representação (embedding), em vez de modificar o texto de entrada.
   • A representação final é uma fusão do contexto do texto, o embedding do anotador e o vetor de metadados projetado.

2. Arquiteturas de Explicação (Dois Abordagens):
   O estudo compara duas arquiteturas para gerar as rationais (explicações) correspondentes aos rótulos previstos:

   • Explainer Post-hoc (Baseado em Prompt):
     • Utiliza um modelo gerador (Flan-T5) treinado separadamente.
     • Recebe como entrada um prompt de texto contendo o contexto, o rótulo "ouro" (ou previsto) e um token de controle do anotador.
     • Não há conexão diferenciável direta entre o classificador e o gerador; a conexão é puramente via texto/prompt.
   • Explainer Prefixed Bridge (Ponte Prefixada):
     • Introduz um acoplamento mais forte entre classificação e geração.
     • Utiliza as representações internas contínuas do classificador (o vetor fusionado $z_{ij}$) como entrada para um pequeno bridge (MLP de 2 camadas).
     • Este bridge projeta o vetor em prefix embeddings que são concatenados às entradas do codificador do T5 antes da geração.
     • Isso permite que a geração seja condicionada diretamente aos sinais de raciocínio internos do modelo, não apenas ao texto.

3. Contribuições Chave

• Modelagem Conjunta: Propõe um framework que modela rótulos e explicações de forma conjunta e condicionada ao anotador, tratando a explicação como uma expressão da perspectiva do anotador, e não apenas como uma justificativa técnica.
• Mecanismo de Ponte Representacional: Introduz a arquitetura Prefixed Bridge, que transfere representações internas do classificador para o modelo generativo, permitindo uma alinhamento semântico mais profundo entre a previsão e a explicação.
• Análise de Perspectiva Fina: Demonstra que a incorporação de rationais anotador-específicos melhora a fidelidade da representação do desacordo humano, capturando nuances que modelos de consenso ignoram.

4. Resultados

Os experimentos foram conduzidos no dataset VariErrNLI, comparando o baseline (User Passport sem explicação) com as duas abordagens de explicação.

• Desempenho Preditivo:
  • A modelagem de explicações melhorou substancialmente o desempenho de classificação em comparação ao baseline.
  • O Prefixed Bridge Explainer alcançou o melhor desempenho global, com Macro-F1 de 93.9% e Exact Match de 92.4%, superando o Post-hoc Explainer (Macro-F1 92.3%).
• Qualidade da Explicação:
  • Similaridade Semântica: O Prefixed Bridge obteve pontuações mais altas, indicando que suas explicações estão melhor alinhadas em significado com as rationais humanas, graças ao uso das representações internas do classificador.
  • Semelhança Lexical (ROUGE-L): O Post-hoc Explainer apresentou ligeiramente melhor sobreposição lexical, sugerindo que a abordagem baseada em texto tende a imitar mais fielmente a superfície do texto de referência.
• Análise por Anotador:
  • O modelo Prefixed Bridge demonstrou maior estabilidade e consistência entre diferentes anotadores, especialmente para aqueles com padrões de decisão mais complexos ou variáveis.
  • O modelo Post-hoc performou excepcionalmente bem para o anotador com maior nível de educação (Postdoc), sugerindo que explicações mais estruturadas e baseadas em texto podem ser capturadas melhor por prompts.
• Fidelidade: A análise qualitativa mostrou que o Prefixed Bridge gera explicações mais concisas e fundamentadas na inferência lógica necessária para a previsão, enquanto o Post-hoc tende a ser mais verboso e introduzir informações não explicitamente presentes no contexto.

5. Significado e Conclusão

O trabalho conclui que integrar rationais específicas do anotador na arquitetura preditiva e generativa é fundamental para criar sistemas de PLN mais transparentes e sensíveis às perspectivas humanas.

• Importância Teórica: Reforça a visão de que o desacordo não é "ruído", mas sim uma fonte rica de informação sobre a diversidade de pensamento humano.
• Impacto Prático: A abordagem Prefixed Bridge oferece um caminho robusto para sistemas que precisam não apenas prever, mas explicar suas decisões sob a ótica de diferentes usuários ou grupos demográficos, aumentando a confiança e a interpretabilidade do modelo.
• Limitações e Futuro: O estudo reconhece a limitação do tamanho do conjunto de dados e da diversidade demográfica. Trabalhos futuros visam expandir o dataset com anotações de falantes nativos de inglês para estudar efeitos linguísticos e explorar a combinação (ensemble) das duas abordagens de explicação.

Em suma, o artigo avança o estado da arte em NLP Perspectivista ao demonstrar que a geração de explicações condicionada a representações internas do anotador resulta em modelos mais precisos, semanticamente alinhados e capazes de capturar a complexidade do raciocínio humano.