From Prediction to Justification: Aligning Sentiment Reasoning with Human Rationale via Reinforcement Learning

Título: Da Predição à Justificação: Alinhamento do Raciocínio de Sentimento com a Racionalidade Humana via Aprendizado por Reforço

1. O Problema

A Análise de Sentimento Baseada em Aspectos (ABSA) alcançou alta precisão na identificação de polaridades de sentimento. No entanto, os sistemas atuais operam frequentemente como "caixas pretas", carecendo das capacidades explícitas de raciocínio características da cognição afetiva humana.

• Limitação Atual: Modelos tradicionais e grandes modelos de linguagem (LLMs) tendem a classificar sentimentos ou extrair tripletas (aspecto, opinião, polaridade) sem fornecer justificativas lógicas ou explicáveis.
• A Lacuna Cognitiva: Humanos não apenas categorizam sentimentos; eles constroem explicações causais para seus julgamentos. A falta de transparência nos modelos atuais limita sua interpretabilidade e confiança em aplicações do mundo real.
• Objetivo: Preencher essa lacuna permitindo que os LLMs aprendam um processo cognitivo de "raciocinar antes de prever", gerando justificativas em linguagem natural que fundamentem suas previsões de sentimento.

2. Metodologia: ABSA-R1

Os autores propõem o ABSA-R1, um framework baseado em LLM e Aprendizado por Reforço (RL) que simula o processo de pensamento "Sistema 2" (lento e reflexivo) humano.

Arquitetura e Paradigma

O modelo adota um paradigma de raciocínio antes da previsão. Dada uma entrada $x$, o modelo gera uma saída composta $o = (p, \hat{y})$, onde:

• $p$: Um caminho de raciocínio em linguagem natural que articula a lógica causal por trás do julgamento.
• $\hat{y}$: A decisão final (rótulo de polaridade ou tripletas extraídas).

Componentes Principais

1. Modelo de Recompensa Alinhado à Cognição (Sentiment-Aware Reward Model - SAR):

   • Projetado para evitar o "hijacking de recompensa" (onde o modelo explora padrões superficiais).
   • A recompensa total $R$ é uma combinação ponderada de:
     • Recompensa de Formato ($R_f$): Garante a aderência a uma estrutura lógica (uso de tags como <thought>, transições como "primeiro", "portanto", integridade estrutural).
     • Recompensa de Resposta ($R_a$): Avalia a precisão da previsão final. Para extração de tripletas, utiliza uma métrica F1 suave com penalidades para evitar alucinações excessivas ou omissões.
   • A função de recompensa é definida como: $R(o, y) = \lambda \cdot R_f(p) + (1 - \lambda) \cdot R_a(\hat{y}, y)$.

2. Amostragem de Rejeição Orientada ao Desempenho (Performance-Driven Rejection Sampling - PRS):

   • Atua como um filtro metacognitivo.
   • Durante o treinamento, o modelo gera múltiplas trajetórias ($G$) para uma mesma entrada.
   • Estratégia: Trajetórias que resultam em respostas corretas são descartadas. Apenas as trajetórias incorretas ou incompletas são mantidas para o atualização da política via RL.
   • Objetivo: Forçar o modelo a aprender especificamente com seus erros e casos difíceis (ambiguidades, negações, raciocínio composicional), acelerando a convergência para um raciocínio robusto.

3. Otimização:

   • Utiliza uma variante aprimorada do Generalized Reward Policy Optimization (GRPO) para mitigar problemas comuns de RL, como overfitting prematuro e colapso de entropia.

3. Contribuições Principais

1. ABSA-R1: Um framework inovador que explicitamente alinha a previsão de sentimento com trilhas de raciocínio geradas, mimetizando a justificativa humana.
2. Mecanismos de Treinamento: Introdução de um modelo de recompensa alinhado à cognição e uma estratégia de amostragem de rejeição para melhorar a robustez em amostras ambíguas.
3. Desempenho e Interpretabilidade: Demonstração de que o raciocínio explícito não apenas aumenta a transparência, mas também eleva a precisão em tarefas de classificação e extração em comparação com baselines sem raciocínio.

4. Resultados Experimentais

O modelo foi avaliado em quatro benchmarks padrão (SemEval: Lap14, Rest14, Rest15, Rest16) para duas tarefas: Extração de Triplas de Sentimento (AOSTE) e Classificação de Sentimento (ABSC).

• Desempenho em AOSTE (Extração de Triplas):
  • O ABSA-R1 atingiu um F1 médio de 80.04, superando significativamente os melhores modelos estruturados (ex: TAGS com 71.02) e os melhores LLMs gerais (ex: Qwen2.5-7B com 75.78).
  • A melhoria foi particularmente notável no conjunto de dados Rest15, onde o modelo alcançou 84.81 de F1.
• Desempenho em ABSC (Classificação):
  • Alcançou a melhor precisão (Accuracy) em 3 dos 4 conjuntos de dados, com uma precisão média de 89.95% e F1 de 80.88.
  • Superou a baseline de ajuste fino instrucional (InstructSFT) em mais de 5 pontos de F1 médio.
• Estudos de Ablação:
  • Sem PRS: A remoção da amostragem de rejeição causou uma queda drástica no desempenho (ex: -10 pontos no Lap14), provando que aprender com erros é crucial.
  • Sem SAR: A remoção do modelo de recompensa alinhado degradou a precisão, indicando que a supervisão na qualidade do raciocínio é essencial para evitar justificativas alucinadas.
• Avaliação Humana:
  • Em uma avaliação qualitativa de 50 casos, 94,0% das trilhas de raciocínio geradas foram julgadas como logicamente corretas e consistentes com o texto de entrada.

5. Significado e Conclusão

O trabalho representa um avanço significativo na NLP interpretável e na computação afetiva.

• Mudança de Paradigma: Transita de modelos que apenas "adivinham" a resposta para sistemas que "pensam" e justificam suas conclusões, alinhando-se melhor à cognição humana.
• Confiabilidade: Ao garantir que a previsão seja fundamentada em um raciocínio lógico verificável, o ABSA-R1 aumenta a confiança em aplicações críticas.
• Eficiência: A estratégia de rejeição de amostras corretas demonstra uma nova abordagem eficiente para o treinamento por RL, focando recursos computacionais nos casos onde o modelo realmente precisa aprender.

Em resumo, o ABSA-R1 prova que equipar modelos com capacidades explícitas de raciocínio não é apenas uma questão de explicabilidade, mas uma via direta para melhorar a precisão e a robustez em tarefas complexas de análise de sentimentos.