Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning

Título: Ensino de Edição Humanizada em Argumentação Inadequada por LLMs via Aprendizado por Reforço

1. Problema e Motivação

O uso de Grandes Modelos de Linguagem (LLMs) para edição de texto tornou-se comum, especialmente para tornar argumentos mais apropriados em discussões online. No entanto, os autores identificam uma desconexão fundamental entre as estratégias de edição de humanos e as geradas por LLMs:

• LLMs: Tendem a realizar múltiplas edições dispersas e interdependentes, alterando significativamente o significado original do texto. Muitas vezes, geram reescritas completas onde as mudanças não podem ser aplicadas seletivamente.
• Humanos: Produzem sugestões de edição autocontidas e que preservam o significado. Eles encapsulam mudanças dependentes em operações contíguas e isoladas (ex: substituir uma frase inteira ou um bloco específico), permitindo que o usuário aceite ou rejeite cada sugestão independentemente.

O objetivo do trabalho é ensinar LLMs a gerar sugestões de edição que imitem esse comportamento humano, mantendo a fluência e a semelhança semântica, enquanto corrigem a inadequação do argumento (ofensas, ataques pessoais, falta de clareza, etc.).

2. Metodologia

A abordagem proposta utiliza Aprendizado por Reforço (RL), especificamente o algoritmo Group Relative Policy Optimization (GRPO), para treinar um modelo de política (baseado no Llama-3.1-8B-Instruct) que gera sugestões de edição.

Definição do Problema:
Dado um argumento $a$, o modelo deve gerar um conjunto de sugestões de edição $E = \{e_1, ..., e_k\}$, onde cada edição $e_i$ é um par (trecho original, substituição). O objetivo é maximizar a "humanidade" das edições e a melhoria da adequação do argumento final.

Função de Recompensa (Reward Function):
O núcleo da inovação é uma função de recompensa multi-componente que otimiza simultaneamente critérios no nível da edição e no nível do argumento:

1. Humanidade da Edição (Edit-Level): Uma edição é considerada "humana" se passar em três classificadores binários:

   • Semelhança Semântica ($c_{sim}$): A edição deve preservar o significado original (medido por similaridade de embeddings, com um limiar alto).
   • Fluência ($c_{flu}$): A edição não deve degradar a gramática ou a naturalidade do texto.
   • Conformidade de Padrão ($c_{con}$): A sequência de operações de edição (manter, deletar, adicionar, substituir) deve seguir padrões típicos de edição humana (evitando reescritas massivas ou alterações de tokens espalhados).
   • Recompensa de Edição ($r_{edit}$): A proporção de sugestões no conjunto que passam nos três critérios acima.

2. Adequação do Argumento (Argument-Level):

   • Adequação ($c_{app}$): Um classificador avalia se o argumento resultante (após aplicar as edições humanas) é mais apropriado que o original.
   • Recompensa de Argumento ($r_{arg}$): Baseada na melhoria da adequação do texto final.

Fórmula de Recompensa Global:
$$R(a, E) = \alpha \cdot r_{arg}(a, E) + (1 - \alpha) \cdot r_{edit}(E, a)$$
Onde $\alpha$ controla o trade-off entre a qualidade da edição (humanidade) e a melhoria da adequação.

Dados de Treino:

• Classificadores de Edição: Treinados no dataset IteraTeR (revisões humanas do Wikipedia/arXiv) e aumentados com dados sintéticos do Gemini 2.5 Flash.
• Dados de Adequação: Corpus de argumentos anotados para inadequação (Ziegenbein et al., 2023), contendo categorias como "Emoções Tóxicas", "Falta de Comprometimento" e "Falta de Inteligibilidade".

3. Contribuições Principais

1. Modelo de Recompensa para Critérios de Edição: Introdução de uma função de recompensa que explicitamente otimiza a semelhança semântica, fluência e conformidade de padrões no nível da edição (e não apenas do documento), visando a "humanidade".
2. Primeira Abordagem de RL para Edição Humanizada: Desenvolvimento do primeiro sistema de Aprendizado por Reforço focado em gerar sugestões de edição autocontidas para argumentos inadequados, sem depender de dados paralelos massivos (requisito comum em métodos supervisionados).
3. Evidência Empírica: Demonstração de que otimizar para qualidade no nível da edição melhora significativamente a geração de sugestões humanizadas, mantendo a eficácia na correção da adequação do argumento.

4. Resultados

Os experimentos compararam a abordagem proposta (GRPOfull) com baselines de fine-tuning supervisionado e outras variações de RL (PPO).

• Métricas de Edição: O modelo GRPOfull superou todas as baselines, gerando 66,9% de edições humanizadas (vs. 34,7% do melhor baseline), com alta semelhança semântica (91,5%) e fluência (75,7%).
• Métricas de Argumento: O modelo alcançou uma melhoria de adequação de 36,4% (apenas nas edições humanizadas), competindo com abordagens de reescrita completa que não são humanizadas.
• Edição Iterativa: Ao aplicar o modelo iterativamente (revisão em múltiplas rodadas), a adequação do argumento aumentou para níveis próximos à reescrita completa, embora houvesse uma leve degradação na fluência e na semelhança semântica nas rodadas finais.
• Avaliação Humana: Em avaliações com humanos, as edições do GRPOfull receberam as maiores notas em todas as dimensões (Semelhança, Fluência, Conformidade e Humanidade), superando significativamente modelos baseados em PPO e instruções diretas (LLaMA).

5. Significado e Implicações

• Viabilidade de Edição Seletiva: O trabalho prova que é possível treinar LLMs para sugerir edições granulares e independentes, em vez de reescrever textos inteiros. Isso é crucial para ferramentas de assistência à escrita onde o usuário deseja manter o controle sobre o que é alterado.
• Qualidade vs. Adequação: Demonstra que é possível equilibrar a preservação do estilo e significado original (humanidade) com a correção de problemas éticos ou de qualidade (adequação), algo que métodos de reescrita total frequentemente sacrificam.
• Considerações Éticas: Os autores alertam para o risco de "policia de tom" (tone policing) e viés cultural. Eles enfatizam que o sistema deve ser implantado com humano no loop, onde as sugestões são apenas recomendações a serem aceitas ou rejeitadas pelo autor, evitando a imposição automática de normas culturais específicas.

Em suma, o artigo estabelece uma nova base para sistemas automáticos que fornecem feedback acionável e humanizado para melhorar a escrita argumentativa, superando as limitações das abordagens atuais de reescrita completa.