ProtoSiTex: Learning Semi-Interpretable Prototypes for Multi-label Text Classification

Resumo Técnico: ProtoSiTex

Declaração do Problema
A proliferação rápida de texto gerado por usuários exige modelos capazes de classificação multi-rótulo de granularidade fina com interpretabilidade inerente. Embora modelos de linguagem baseados em transformadores alcancem desempenho de última geração, eles operam como "caixas pretas", oferecendo transparência limitada. Métodos existentes de explicação post-hoc (por exemplo, LIME, SHAP) frequentemente carecem de fidelidade e consistência. Por outro lado, Redes Baseadas em Protótipos (PBNs) inerentemente interpretáveis geralmente operam em granularidades grosseiras (nível de frase ou documento) e são amplamente restritas a tarefas de rótulo único. Essa limitação impede que lidem com cenários do mundo real onde os textos contêm sentimentos sobrepostos, conflitantes ou multifacetados (por exemplo, uma avaliação elogiando a vista, mas criticando a equipe). Além disso, há uma escassez de conjuntos de dados que fornecem anotações multi-rótulo no nível de subsentença, dificultando a avaliação da interpretabilidade de granularidade fina.

Metodologia: ProtoSiTex
Os autores propõem o ProtoSiTex, um framework semi-interpretable projetado para classificação multi-rótulo de texto de granularidade fina. O termo "semi-interpretable" denota um modelo que fornece explicações baseadas em protótipos fiéis para suas previsões, enquanto depende de mecanismos neurais latentes (por exemplo, atenção, embeddings) que não são totalmente transparentes. A arquitetura consiste em três etapas principais:

1. Representação de Subsenta: O documento de entrada é segmentado em frases e, posteriormente, em subsenta usando pistas de pontuação. Um codificador de modelo de linguagem (especificamente RoBERTa-Large nos experimentos) gera embeddings conscientes do contexto para essas subsentenças.
2. Treinamento Alternado de Duas Fases: O modelo emprega uma estratégia de treinamento única que alterna entre duas fases:
   • Descoberta de Protótipos Não Supervisionada (Fase de Agrupamento): Uma camada de protótipos aprendível, acoplada a Atenção Multi-Cabeça (MHA), descobre protótipos semanticamente coerentes e diversos. Esta fase utiliza perdas baseadas em proximidade (garantindo que as subsentenças se alinhem com os protótipos mais próximos) e perdas de regularização estrutural (impondo esparsidade e diversidade entre os protótipos) para evitar colapso e redundância de protótipos.
   • Classificação Supervisionada: Os protótipos descobertos são mapeados para rótulos de classe. Esta fase utiliza uma função de perda hierárquica que impõe consistência em três níveis: subsentença, frase e documento. Ela constrói dinamicamente rótulos de verdade fundamental no nível do protótipo agregando rótulos de subsentença e propaga previsões para cima através de matrizes de mapeamento binário ($M_1$ para documento-para-frase, $M_2$ para frase-para-subsentença).
3. Inferência e Explicação: Durante a inferência, o modelo prevê rótulos no nível do documento via agregação hierárquica. Crucialmente, gera explicações vinculando cada subsentença ao seu protótipo mais próximo e recuperando as $K$ subsentenças de treinamento mais similares associadas a esse protótipo. Esses exemplares são resumidos (usando um LLM) para fornecer justificativas legíveis por humanos para a previsão.

Contribuições Principais

1. Framework Semi-Interpretable: O ProtoSiTex é o primeiro framework baseado em protótipos a realizar classificação multi-rótulo de granularidade fina no nível de subsentença. Ele usa protótipos adaptativos e atenção multi-cabeça para desvendar semânticas sobrepostas e conflitantes, uma capacidade ausente em PBNs anteriores.
2. Otimização de Duas Fases e Supervisão Hierárquica: A estratégia de treinamento alternado proposta desacopla a descoberta de protótipos não supervisionada da classificação supervisionada, melhorando a generalização e reduzindo o sobreajuste. A função de perda hierárquica garante consistência semântica através das granularidades, permitindo propagação estruturada de rótulos.
3. Novo Conjunto de Dados de Referência (HR): Os autores introduzem um conjunto de dados de Avaliações de Hotéis (HR) contendo 3.002 avaliações anotadas no nível de subsentença com 8 aspectos multi-rótulo (por exemplo, Quarto e Comodidades, Comida, Localização). Este conjunto de dados inclui trechos de verdade fundamental para avaliação de interpretabilidade, abordando uma lacuna em benchmarks existentes.
4. Agregação Semântica Adaptativa: O modelo estabelece alinhamento explícito entre evidências de subsentença, protótipos adaptativos e previsões de documento através de agregação diferenciável, facilitando explicações rastreáveis sem sacrificar o desempenho preditivo.

Resultados Experimentais
Os experimentos foram conduzidos no conjunto de dados HR proposto, bem como em benchmarks públicos IMDb (sentimento binário) e TweetEVAL (emoção multi-classe).

• Desempenho: O ProtoSiTex alcançou desempenho de última geração em todos os conjuntos de dados. No conjunto de dados HR, atingiu uma pontuação Macro-F1 de 87,22% e Precisão Balanceada de 83,68%, superando fortes baselines de caixa preta (por exemplo, RoBERTa-Large, DeBERTaV3) e modelos baseados em protótipos existentes (por exemplo, GAProtoNet, ProtoLens).
• Comparação: Embora igualando a precisão de grandes transformadores de caixa preta em tarefas mais simples (IMDb), o ProtoSiTex superou significativamente esses modelos no conjunto de dados HR complexo e multi-rótulo. Ele também superou LLMs de código fechado e de código aberto (por exemplo, GPT, LLaMA) em configurações multi-rótulo, demonstrando tratamento superior de dependências de rótulos e semântica de granularidade fina.
• Estudos de Ablação: Análises confirmaram que o treinamento alternado de duas fases, a atenção multi-cabeça para similaridade e a inicialização aleatória de protótipos foram críticos para o desempenho. O estudo também observou que codificadores baseados em máscara (como RoBERTa) foram mais eficazes do que modelos autoregressivos para esta arquitetura específica devido ao seu contexto bidirecional e espaços de embeddings densos.

Significado e Alegações
O artigo afirma que o ProtoSiTex estabelece uma solução robusta para classificação multi-rótulo de texto semi-interpretable. Seu significado principal reside em preencher a lacuna entre precisão preditiva e interpretabilidade em cenários complexos e do mundo real. Ao operar no nível de subsentença, o modelo pode explicar fielmente por que um rótulo específico foi atribuído, mesmo quando múltiplos sentimentos conflitantes existem dentro de um único documento. Os autores afirmam que o framework oferece "explicações fiéis e alinhadas com humanos", mantendo desempenho competitivo, tornando-o adequado para aplicações que exigem confiança, justiça e conformidade regulatória. A introdução do conjunto de dados HR é destacada como uma contribuição crítica para permitir a avaliação empírica de benchmarks de modelos multi-rótulo interpretáveis de granularidade fina.