Know Your Author: Does the AI Penalty Hold in Short Fiction?

Resumen Técnico: ¿Se mantiene la penalización de la IA en la ficción corta?

Planteamiento del problema
El discurso público y la literatura emergente sugieren una "penalización de la IA", postulando que etiquetar el contenido como generado por IA conduce a evaluaciones más negativas en comparación con las obras creadas por humanos, particularmente en dominios estéticos. Sin embargo, la evidencia existente a menudo confunde las creencias sobre la autoría con diferencias intrínsecas en los artefactos mismos, ya que los estudios frecuentemente comparan salidas humanas y de IA distintas. Esto crea ambigüedad sobre si las brechas de evaluación observadas surgen de un sesgo contra la fuente o de disparidades reales de calidad. Además, el papel del "heurístico del esfuerzo" —la tendencia a inferir la calidad a partir del trabajo percibido— y la influencia moderadora de las actitudes previas hacia la IA permanecen subexplorados en entornos controlados donde el contenido se mantiene constante.

Metodología
Los autores realizaron un experimento entre sujetos ($N = 254$ por protocolo), preregistrado, utilizando un diseño de atribución pura para aislar el efecto causal de las etiquetas de autoría.

• Estímulos: Dos viñetas de ficción corta de aproximadamente 200 palabras ("Firefly Summer" y "The Endless Summer") fueron generadas por un único sistema de IA (Claude 3.7 Sonnet de Anthropic) a partir de un prompt idéntico.
• Diseño: Un diseño de 3 (Etiqueta de Atribución: Escrito por humano, Escrito por IA, Sin etiqueta) $\times$ 2 (Historia) . Los participantes fueron asignados aleatoriamente para leer una viñeta con una de tres líneas de autoría:
  • Humano: "Autor: J. Taylor, escritor de ficción corta estadounidense".
  • IA: "Autor: Claude, un sistema de IA especializado en escritura creativa".
  • Sin etiqueta: Sin información de autor.
• Medidas:
  • Resultados primarios: Calificaciones de creatividad, disfrute, probabilidad de recomendación y originalidad en escalas Likert de 1 a 7.
  • Esfuerzo percibido: Estimaciones abiertas del tiempo tomado para crear la historia (convertidas a minutos).
  • Moderadores: Medidas de ítem único de familiaridad con la IA y positividad general hacia la IA.
• Análisis: Los análisis de confirmación utilizaron ANOVAs de una y dos vías para probar efectos principales e interacciones. Las relaciones del heurístico del esfuerzo se probaron mediante correlaciones de Pearson y regresión OLS utilizando estimaciones de tiempo transformadas logarítmicamente ($\ln[\text{minutos} + 1]$) para abordar la asimetría. Los efectos de moderación se analizaron mediante interacciones de regresión.

Resultos clave

1. Ausencia de penalización directa de la IA: Contrario a la Hipótesis 1 (H1) y H2, las etiquetas de autoría no produjeron efectos principales fiables en la creatividad, el disfrute, la recomendación o la originalidad. Los tamaños del efecto fueron uniformemente pequeños y estadísticamente no significativos ($p > .22$). Notablemente, la condición Sin Etiqueta recibió las puntuaciones de evaluación promedio más bajas, contrario a la predicción de que se situaría entre las condiciones Humano e IA.
2. Fuerte efecto en el esfuerzo percibido: Si bien las etiquetas no alteraron las calificaciones de calidad promedio, influyeron drásticamente en el esfuerzo inferido. Los participantes estimaron que las historias etiquetadas como Humanas tardaron significativamente más en crearse (media geométrica $\approx$ 148 minutos) en comparación con las etiquetadas como IA ($\approx$ 6 minutos). Las historias Sin Etiqueta se estimaron en $\approx$ 75 minutos.
3. Validación del heurístico del esfuerzo: Apoyando la H3, un mayor tiempo de creación percibido se asoció positivamente con calificaciones de disfrute más altas. Esta relación se mantuvo en todas las condiciones y específicamente dentro del grupo etiquetado como IA ($r = .37, p = .001$). Los análisis de mediación confirmaron que la etiqueta de IA predijo un menor tiempo percibido, lo que a su vez predijo un menor disfrute, aunque los efectos directos permanecieron cerca de cero.
4. Moderación por actitudes hacia la IA: Las actitudes previas hacia la IA moderaron significativamente los juicios de recomendación. Los participantes con actitudes positivas hacia la IA fueron más propensos a recomendar historias etiquetadas como IA, mientras que aquellos con actitudes negativas mostraron una preferencia por las historias etiquetadas como Humanas. Esta interacción sugiere que los efectos nulos promedio pueden resultar de la cancelación de tendencias opuestas de subgrupos.
5. Control de manipulación: El recuerdo de la autoría fue imperfecto; el 14.3% de los participantes no identificó correctamente la etiqueta asignada, con los fallos concentrados en la condición etiquetada como Humano.

Significancia y Reivindicaciones
El artículo sostiene que, en el contexto de la ficción corta, las etiquetas explícitas de autoría de IA no degradan sistemáticamente las evaluaciones promedio del texto en sí cuando el contenido se mantiene constante. La "penalización de la IA" no es una penalización directa y universal sobre la percepción de la calidad en este entorno.

En su lugar, el estudio identifica dos mecanismos a través de los cuales operan las etiquetas:

1. Inferencia de Esfuerzo: Las etiquetas moldean las percecciones del trabajo involucrado en la creación. La "penalición de la IA" puede estar mediada por la suposición de que la IA requiere un esfuerzo mínimo, lo que posteriormente reduce el disfrute, en lugar de una devaluación directa del producto estético.
2. Moderación Atitudinal: El impacto del etiquetado es contingente en las creencias previas del lector sobre la IA.

Los autores concluyen que, si existe una penalización de la IA en este dominio, es probable que sea pequeña y dependiente del contexto. Señalan limitaciones, incluyendo el uso de viñetas cortas y optimistas y una muestra específica basada en EE. UU., sugiriendo que se requieren replicaciones más grandes con mediciones más precisas para determinar si el efecto real es una pequeña penalización, un efecto efectivamente cero, o potencialmente un ligero beneficio de la atribución explícita. El estudio enfatiza que la divulgación influye en los juicios posteriores menos a través de una penalización directa y más a través de la saliencia de la etiqueta y los procesos de inferencia de esfuerzo que esta activa.