Can You Make It Sound Like You? Post-Editing LLM-Generated Text for Personal Style

1. Declaración del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más para la escritura profesional, su adopción en tareas de escritura personal (por ejemplo, votos de boda, cartas de disculpa, elogios fúnebres) sigue siendo controvertida. Los usuarios a menudo temen que la asistencia de la IA comprometa la autenticidad y el estilo personal.

Investigaciones anteriores sugieren que los usuarios están dispuestos a utilizar la IA para la planificación, pero se resisten a ella durante las etapas de "traducción" (borrador) y "revisión", ya que estas moldean directamente la expresión estilística. Este artículo investiga un flujo de trabajo colaborativo específico: la Edición Posterior. La pregunta central de investigación es: ¿Pueden los usuarios editar eficazmente los borradores generados por LLM para reintroducir su estilo personal único, y resulta este proceso en un texto que sea perceptual y técnicamente indistinguible de su escritura sin asistencia?

2. Metodología

Diseño del Estudio

Los autores realizaron un estudio en línea pre-registrado y aprobado por el IRB con $N=81$ participantes (reclutados de Prolific, filtrados por fluidez en inglés).

• Tareas: Los participantes seleccionaron 6 tareas de escritura de un conjunto de 8 escenarios donde el estilo personal es crítico (por ejemplo, votos de boda, cartas de disculpa, cartas de condolencia).
• Condiciones: El estudio utilizó un diseño intra-sujeto con dos bloques:
  1. Bloque de Control: Los participantes planificaron detalles y escribieron el texto completamente desde cero (sin asistencia).
  2. Bloque de Tratamiento: Los participantes planificaron los mismos detalles, recibieron un borrador generado por LLM (basado en su plan) y luego editaron posteriormente el borrador para reflejar su estilo personal.
• Métricas:
  • Similitud Estilística: Medida mediante incrustaciones LUAR (Rivera-Soto et al., 2021), específicamente el modelo LUAR-MUD, que captura el estilo de autoría mediante similitud del coseno.
  • Detección de IA: Medida mediante puntuaciones PANGRAM para estimar la probabilidad de que el texto sea generado por IA.
  • Aceptabilidad Lingüística: Evaluada mediante un modelo basado en CoLA para evaluar la corrección gramatical.
  • Autoreportes: Los participantes calificaron la autenticidad estilística percibida, la usabilidad y la dificultad de la tarea.

Hipótesis

El estudio probó tres hipótesis principales:

• H1 (Autenticidad): La edición posterior hará que el texto de LLM suene más como la escritura sin asistencia del usuario y menos como la salida cruda de LLM.
• H2 (Homogeneidad): El texto editado posteriormente formará un estilo "tercero" distinto: más homogéneo que la escritura humana pero menos que la salida cruda de LLM.
• H3 (Percepción): La percepción del usuario de la similitud estilística se alineará con la similitud medida por el modelo.

3. Contribuciones y Resultados Clave

A. Eficacia de la Edición Posterior (H1)

• Cambio Estadístico: La edición posterior aumentó significativamente la similitud estilística con el texto de control sin asistencia del propio participante ($p < .001$, $g=0.55$) y disminuyó significativamente la similitud con el texto crudo de LLM ($p < .001$, $g=-0.41$).
• Rastros Residuales de IA: A pesar de estas mejoras, el texto editado posteriormente permaneció significativamente más similar al texto generado por LLM que a la propia escritura sin asistencia del participante ($p < .001$, $g=-1.43$). Los usuarios no pudieron eliminar completamente la "huella digital de LLM".
• Especificidad: Las ediciones realizadas fueron específicas para cada individuo. El texto editado posteriormente fue más similar al estilo del editor mismo que a los estilos de otros participantes, confirmando que los cambios no fueron simplemente una "humanización" genérica.

B. Homogeneidad Estilística (H2)

• El "Tercer Estilo": El texto editado posteriormente exhibió un perfil estilístico único. Fue más homogéneo (menos diverso) que la escritura totalmente humana pero menos homogéneo que la salida cruda de LLM.
• Rasgos Compartidos de IA: Aunque las ediciones individuales fueron únicas, las partes no editadas del texto conservaron características estilísticas compartidas de LLM en todos los participantes. Esto resultó en que los textos editados posteriormente de diferentes usuarios fueran más similares entre sí que a sus propios textos de control sin asistencia.

C. La Brecha de Percepción (H3)

• Desconexión: Existe una desconexión significativa entre la similitud medida por el modelo y la autenticidad percibida por el usuario.
  • Visión del Modelo: El texto editado posteriormente sigue siendo claramente "similar a la IA" en comparación con el texto de control humano.
  • Visión del Usuario: Los participantes calificaron su texto editado posteriormente como igualmente representativo de su estilo personal que su texto de control sin asistencia ($p = .906$).
• Correlación: Aunque hubo una correlación positiva entre la similitud percibida y la medida ($r=0.24$), estaba débilmente calibrada. Los usuarios no percibieron las marcas estilísticas residuales que los modelos de incrustación detectaron.

D. Análisis del Comportamiento de Edición

• Tipos de Edición: Los participantes emplearon diversas estrategias, incluyendo:
  • Cambios léxicos: Eliminar palabras "asociadas a la IA" (por ejemplo, "ahondar", aunque raro en este conjunto de datos) o añadir contracciones (5 veces más frecuentes en el texto editado posteriormente).
  • Puntuación: Eliminar guiones largos (tasa de eliminación del 23%) y añadir puntuación no estándar o errores tipográficos para imitar hábitos personales.
  • Ediciones semánticas: Corregir detalles fácticos o añadir lenguaje culturalmente específico (por ejemplo, frases religiosas).
• Esfuerzo vs. Resultado: El estudio encontró que la originalidad del borrador inicial fue la principal barrera para la adopción. Los participantes que preferían escribir solos citaron una falta de originalidad en los borradores de IA, mientras que aquellos que preferían la edición posterior valoraron la eficiencia y la fiabilidad.

4. Significado e Implicaciones

1. La "Ilusión de Autenticidad": El artículo destaca una brecha crítica donde los usuarios sienten que su escritura asistida por IA es auténtica, incluso cuando las métricas objetivas detectan rastros estilísticos significativos de IA. Esto sugiere que los usuarios pueden depender de heurísticas simplificadas (por ejemplo, "¿cambié las palabras?") en lugar de un análisis estilístico profundo.
2. Viabilidad del Flujo de Trabajo: A pesar de la incapacidad de borrar completamente las marcas estilísticas de la IA, el flujo de trabajo es viable. Los usuarios reportan alta satisfacción y disposición a utilizar la edición posterior para futuras tareas personales, siempre que el borrador inicial no sea demasiado cliché.
3. Limitaciones de las Métricas Actuales: Las métricas de estilo basadas en incrustaciones pueden capturar saliencia estadística que no se alinea con lo que los usuarios legos consideran "estilo". Esto desafía la utilidad de los detectores de IA actuales en contextos de escritura personal donde el objetivo es la satisfacción del usuario y no la detección forense.
4. Direcciones Futuras: Los autores sugieren que mejorar la creatividad y originalidad de los borradores iniciales de LLM es más impactante que intentar enseñar a los usuarios a editar posteriormente de manera más efectiva. Además, el trabajo futuro debe considerar la perspectiva de la audiencia: ¿detectarán los lectores (que conocen el estilo del autor) las marcas residuales de IA que los autores pasaron por alto?

Conclusión

El estudio concluye que, aunque la edición posterior permite a los usuarios ejercer un control significativo y lograr una sensación de autenticidad estilística, no cierra completamente la brecha entre los estilos de escritura de LLM y humanos. El texto resultante es un híbrido: estadísticamente más cercano al modelo que al humano, pero percibido por el usuario como auténticamente suyo. Esta desconexión subraya la necesidad de una mejor alineación entre las capacidades de generación de IA y las expectativas estilísticas humanas, en lugar de depender únicamente de la edición a posteriori.