Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

Resumen Técnico: Análisis de las Diferencias en el Lenguaje Persuasivo en Textos Generados por LLM

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más en tareas de comunicación interpersonal, incluyendo la redacción de mensajes destinados a influir y persuadir. Si bien investigaciones previas han establecido que los LLM pueden persuadir con éxito a los humanos y amplificar el lenguaje persuasivo, existe una brecha crítica en la comprensión de cómo las instrucciones específicas del usuario —particularmente aquellas que involucran atributos del destinatario— afectan el estilo del lenguaje persuasivo generado. Específicamente, no está claro si los LLM alteran sistemáticamente sus estrategias persuasivas basándose en el género del destinatario previsto, lo que podría reflejar y amplificar los estereotipos de género sociales. Este artículo investiga si los atributos proporcionados por el usuario en el texto de instrucción, como el género del destinatario, la intención enmarcada por el usuario y el idioma de salida, inducen cambios mensurables en las dimensiones del lenguaje persuasivo generado por los LLM.

Metodología
Los autores proponen un marco sistemático para evaluar las diferencias en el lenguaje persuasivo generado por LLM bajo condiciones de prompts pareados controlados. La metodología consta de los siguientes componentes:

1. Construcción de Prompts: Se generaron dos conjuntos de prompts de instrucción que cubrían mensajes interpersonales (por ejemplo, pedir a un compañero de trabajo que intercambie turnos) y argumentos políticos (por ejemplo, reducir la edad de votación). Para cada prompt, se creó una versión pareada modificando únicamente el atributo de tratamiento (por ejemplo, cambiando "compañera de trabajo mujer" por "compañero de trabajo hombre" o "intención noble" por "intención ignoble").
2. Evaluación de Modelos: El estudio evaluó 13 LLM de cinco familias de modelos diferentes (incluyendo GPT-5, Llama 3, DeepSeek, Qwen y Claude), variando en tamaño, alineación de seguridad y origen.
3. Dimensiones de Evaluación: Las respuestas se analizaron a través de 19 categorías derivadas de cinco dimensiones teóricas de la comunicación y la persuasión:
   • Apelaciones Retóricas: Logos, Pathos, Ethos.
   • Principios de Cialdini: Reciprocidad, Compromiso, Simpatía, Autoridad, Escasez, Prueba Social.
   • Rasgos de Psicología Social: Agéntico (competencia, asertividad) vs. Comunal (calidez, cooperatividad).
   • Objetivos de Interacción: Instrumental, Relacional, Identidad.
   • Tonos: Directo, Cortés, Formal, Juguetón, Afectuoso.
4. LLM-como-Juez: Se empleó una configuración de evaluación automatizada utilizando GPT-4o como juez para calificar las diferencias pareadas entre las respuestas. El juez asignó puntuaciones relativas en una escala ordinal (−3 a +3) para cada categoría. Para asegurar la robustez, la evaluación se realizó dos veces con el orden de entrada invertido para mitigar el sesgo de posición.
5. Verificación: El marco incluyó medidas de verificación extensas, incluyendo:
   • Validez Convergente: Anotación humana de un subconjunto de respuestas para verificar si las percepciones humanas se alineaban con los hallazgos del juez LLM.
   • Pruebas de Robustez: Pruebas con modelos jueces alternativos (Qwen2.5), neutralización de términos de género en las entradas y traducción de las entradas al inglés para evaluar la consistencia translingüística.
   • Análisis Estadístico: Uso de pruebas de rango con signo de Wilcoxon para determinar la significancia y remuestreo de bootstrap para comparar las "Brechas de Género" ($G_T$) entre diferentes modelos.

Resultos Clave
El estudio revela diferencias de género significativas y consistentes en la generación de lenguaje persuasivo en todos los LLM probados:

• Estereotipos de Género en el Estilo:
  • Las respuestas dirigidas a mujeres exhibieron consistentemente puntuaciones más altas en rasgos Comunales, Pathos (apelación emocional), objetivos Relacionales, Cortesía y tonos Afectuosos.
  • Las respuestas dirigidas a hombres exhibieron consistentemente puntuaciones más altas en rasgos Agénticos, Logos (apelación lógica), objetivos Instrumentales y tonos Directos.
• Consistencia entre Modelos: Aunque la magnitud del sesgo varió (por ejemplo, GPT-5 mostró una brecha mayor que GPT-4.1), el patrón direccional de la estereotipación estuvo presente en los 13 modelos.
• Persistencia Translingüística: Al probar un solo modelo (GPT-5-MINI) a través de 16 idiomas, las diferencias estilísticas de género persistieron. El estudio no encontró una correlación significativa entre la magnitud de la brecha de género y el Índice de Desigualdad de Género (GII) de los países asociados, lo que sugiere que el sesgo es impulsado por patrones internos del modelo más que por datos sociales externos únicamente.
• Enmarque de la Intención: Cuando la intención del usuario se enmarcó como "noble" frente a "ignoble", los modelos ajustaron su estilo; las intenciones "ignobles" fueron calificadas con mayor Pathos y Juguetonería, mientras que las intenciones "nobles" fueron calificadas con mayor Formalidad.
• Éxito de la Verificación: Los anotadores humanos confirmaron los hallazgos del juez LLM, identificando los textos dirigidos a mujeres como más comunales y los dirigidos a hombres como más agénticos. Los modelos jueces alternativos y las entradas neutralizadas produjeron resultados altamente correlacionados, confirmando la robustez de los hallazgos.

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer análisis sistemático y multidimensional de cómo los LLM adaptan los estilos de lenguaje persuasivo basados en el género del destinatario y otros atributos. Sus principales contribuciones son:

1. Un Marco de Evaluación: Una metodología rigurosa para detectar sesgos sutiles de estilo en la generación de LLM que va más allá de la simple negativa de contenido o la toxicidad manifiesta.
2. Evidencia de Sesgo Persistente: Los hallazgos demuestran que incluso los modelos con una amplia alineación de seguridad exhiben sesgos de género profundos y estereotipados en su producción persuasiva. Estos sesgos se alinean con la literatura establecida de sociolingüística y psicología social respecto a las tendencias lingüísticas "agénticas" (masculinas) y "comunales" (femeninas).
3. Generalizabilidad: Se demuestra que el marco es aplicable más allá del género, detectando con éxito diferencias basadas en la intención del usuario y el idioma, y es aplicable a una amplia gama de idiomas y familias de modelos.

Los autores señalan modestamente que su análisis se basa en tradiciones teóricas occidentales (retórica aristotélica, principios de Cialdini) y tratamientos de género binarios. No pretenden descubrir las causas raíz de estos sesgos, medir la eficiencia de la persuasión ni proponer estrategias de mitigación, sino establecer la existencia y la persistencia de estos sesgos estilísticos como un área crítica para la investigación futura y la salvaguarda en el despliegue de la IA en el mundo real.