Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning

Resumen Técnico: Enseñando a los LLMs la Edición Humana de Argumentación Inapropiada mediante Aprendizaje por Refuerzo

1. El Problema

El uso de Modelos de Lenguaje Grandes (LLMs) para editar texto es común, pero existe una desconexión fundamental entre cómo editan los humanos y cómo lo hacen los LLMs actuales:

• Estrategias de Edición Dispersas: Los LLMs tienden a realizar múltiples cambios dispersos a lo largo del texto, alterando significativamente el significado original.
• Falta de Autocontención: A diferencia de los humanos, que encapsulan cambios dependientes en ediciones autocontenidas y que preservan el significado, los LLMs generan reescrituras completas o cambios interdependientes que no pueden aplicarse de forma selectiva.
• Limitación de Métodos Anteriores: Los enfoques existentes (como la reescritura completa basada en RL) optimizan métricas a nivel de argumento, ignorando la calidad a nivel de edición individual, lo que resulta en sugerencias poco naturales y difíciles de integrar en flujos de trabajo humanos.

El objetivo es enseñar a los LLMs a generar sugerencias de edición autocontenidas, que preserven el significado y se asemejen a los patrones de edición humana, para mejorar la adecuación (apropiación) de argumentos ofensivos o inapropiados sin destruir su intención original.

2. Metodología

Los autores proponen un enfoque basado en Aprendizaje por Refuerzo (RL) que utiliza Optimización de Política Relativa de Grupo (GRPO).

• Definición del Problema: Dado un argumento $a$, el objetivo es generar un conjunto de sugerencias de edición $E = \{e_1, ..., e_k\}$, donde cada edición $e_i$ es un par (span de texto a cambiar, reemplazo). El resultado debe ser un argumento más apropiado pero con sugerencias que sean "humanas".
• Criterios de "Humanidad" (Human-Likeness): Una edición se considera humana si cumple tres condiciones simultáneas:
  1. Similitud Semántica: El significado del texto editado debe ser similar al original.
  2. Fluidez: La edición no debe degradar la gramática ni la coherencia del texto.
  3. Conformidad de Patrón: La secuencia de operaciones (mantener, borrar, añadir, sustituir) debe seguir patrones típicos de edición humana (evitando reescrituras masivas o cambios de tokens aislados sin contexto).
• Función de Recompensa (Reward Function):
  La recompensa total $R(a, E)$ es una combinación ponderada de dos componentes:
  1. Recompensa a Nivel de Edición ($r_{edit}$): Evalúa qué porcentaje de las sugerencias generadas pasan los tres filtros (similitud, fluidez, conformidad) mediante clasificadores entrenados.
  2. Recompensa a Nivel de Argumento ($r_{arg}$): Evalúa si el argumento resultante (tras aplicar las ediciones humanas) ha mejorado su adecuación (reducción de toxicidad, falta de compromiso, etc.).
     $$R(a, E) = \alpha \cdot r_{arg}(a, E) + (1 - \alpha) \cdot r_{edit}(E, a)$$
• Entrenamiento: Se utiliza un modelo Llama-3.1-8B-Instruct como política, ajustado con LoRA y entrenado mediante GRPO. No se requieren datos paralelos (texto original vs. texto editado por humanos) para el entrenamiento principal, ya que los clasificadores de recompensa guían el aprendizaje.

3. Contribuciones Clave

1. Modelo de Recompensa Multi-Componente: Introducción de un modelo de recompensa que optimiza explícitamente criterios a nivel de edición (similitud semántica, fluidez y conformidad de patrones) para lograr un estilo de edición humano, algo inédito en la transferencia de estilo.
2. Primer Enfoque de RL para Edición Humana: Es el primer método que utiliza RL para generar sugerencias de edición específicas para argumentos inapropiados, en lugar de reescrituras completas.
3. Evidencia Empírica: Demostración de que optimizar la calidad a nivel de edición mejora significativamente la generación de sugerencias "humanas" mientras se mantiene (e incluso mejora) la adecuación del argumento global.

4. Resultados

El enfoque fue evaluado en un corpus de argumentos inapropiados anotados, comparando el modelo GRPOfull contra baselines de reescritura (PPO) y otros modelos (Alpaca, LLaMA, GPT-5).

• Métricas a Nivel de Edición:
  • GRPOfull generó un número significativamente mayor de ediciones humanas (#HL = 1221) en comparación con el baseline más cercano (239).
  • Logró la mayor proporción de ediciones que cumplen los tres criterios (HL = 0.669), superando a todos los baselines.
  • Los estudios de ablación mostraron que eliminar cualquiera de los tres componentes (similitud, fluidez o conformidad) degrada la calidad general, confirmando la necesidad de un enfoque multi-objetivo.
• Métricas a Nivel de Argumento:
  • El modelo logró mejorar la adecuación del argumento (AppHL = 0.364), superando a los enfoques que solo optimizan la adecuación sin considerar la forma de la edición.
  • Edición Iterativa: Al aplicar el modelo iterativamente (11 rondas), la adecuación del argumento se acercó a la de los métodos de reescritura completa no humanos, aunque con una ligera degradación en la fluidez en rondas tardías debido a la acumulación de cambios.
• Evaluación Humana:
  • En una evaluación con anotadores humanos, las sugerencias de GRPOfull obtuvieron las puntuaciones más altas en similitud, fluidez, conformidad y "humanidad" (4.46/5.0), superando significativamente a los baselines.
  • En comparaciones pareadas, las ediciones del modelo propuesto fueron preferidas en el 82% de los casos sobre las del baseline.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo demuestra que para que los LLMs sean asistentes útiles en la optimización de texto, no basta con mejorar el resultado final; es crucial que el proceso de edición (las sugerencias individuales) sea transparente, autocontenido y respetuoso con la intención original del autor.
• Aplicabilidad Práctica: Las sugerencias generadas pueden ser aceptadas o rechazadas independientemente por un usuario humano, facilitando herramientas de escritura asistida que no imponen cambios drásticos no deseados.
• Consideraciones Éticas: Los autores advierten sobre los riesgos de "policía de tono" (tone policing) y la subjetividad cultural de la "adecuación". Recomiendan fuertemente un enfoque "humano-en-el-bucle" (human-in-the-loop), donde el sistema sugiere y el humano decide, evitando la censura automática no supervisada.

En conclusión, este artículo establece una base sólida para sistemas automáticos que proporcionan retroalimentación accionable y humana para mejorar la escritura argumentativa, equilibrando la corrección de contenido tóxico con la preservación de la voz y el significado del autor.