🤖 AI

Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings

Este artículo investiga hasta qué punto las incrustaciones de modelos de lenguaje en francés capturan y retienen las características estilísticas del autor tras la reescritura, demostrando que estas señales persisten y exhiben patrones específicos del modelo, ofreciendo así nuevas vías para detectar la imitación de autoría.

Autores originales: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Pregunta: ¿Puede la IA "Falsificar" el Alma de un Escritor?

Imagina que tienes un grupo de chefs famosos (como Proust, Céline y Yourcenar). Cada uno tiene una forma única de cocinar: uno usa recetas largas y complejas con ingredientes elegantes; otro cocina rápido, ruidoso y desordenado; el tercero es preciso e histórico.

Ahora, imagina un chef robot superinteligente (una IA o un Modelo de Lenguaje Grande) que intenta imitar a estos chefs humanos. Al robot se le dice: "Cocina este plato específico (un viaje en autobús por París), pero haz que sepa exactamente como el Chef Proust".

La gran pregunta que plantea este artículo es: Si damos un bocado a la comida del robot, ¿podemos aún saborear el "sabor" único del chef humano, o el sabor mecánico propio del robot toma el control?

En el mundo de las computadoras, el "sabor" se mide utilizando incrustaciones (embeddings). Piensa en las incrustaciones como una huella digital o una coordenada GPS para un fragmento de texto. Cada oración recibe un conjunto específico de números que le dice a la computadora dónde vive en un mapa gigante del lenguaje.

El Experimento: La Prueba del "Viaje en Autobús"

Los investigadores diseñaron un experimento controlado utilizando literatura francesa:

La Receta Base (El Tema): Comenzaron con un libro de Stéphane Tufféry que cuenta exactamente la misma historia (un viaje en autobús por París) pero escrita en muchos estilos diferentes. Esto asegura que la historia sea la misma, para que cualquier diferencia sea puramente de estilo.
Los Chefs Humanos: Tomaron textos de tres autores franceses reales:
- Proust: Conocido por oraciones largas, fluidas y complejas.
- Céline: Conocido por oraciones cortas, contundentes y que suenan habladas.
- Yourcenar: Conocida por una escritura equilibrada, histórica y precisa.
Los Chefs Robot: Pidieron a tres modelos de IA diferentes (GPT, Mistral y Gemini) que reescribieran la historia del "Viaje en Autobús", intentando imitar el estilo de Proust, Céline y Yourcenar.

Cómo midieron el "Sabor"

Los investigadores no solo pidieron a humanos que leyeran los textos. En su lugar, utilizaron un mapa matemático (llamado UMAP) para trazar dónde caían todos estos textos.

El Mapa Humano: Cuando trazaron a los autores humanos reales, sus textos formaron islas distintas y separadas. Los textos de Proust estaban en un grupo, los de Céline en otro y los de Yourcenar en un tercero.
El Mapa Robot: Cuando trazaron los textos generados por la IA, quisieron ver si los robots lograban aterrizar en las mismas islas que los humanos, o si se desviaban hacia su propia "Zona Robot".

Medieron la dispersión, que es como medir qué tan disperso está un grupo de personas en una habitación.

Si la IA imitaba con éxito el estilo, los textos de la IA deberían agruparse estrechamente con los textos humanos (baja dispersión).
Si la IA fallaba, los textos de la IA se dispersarían lejos de los humanos (alta dispersión).

Lo que Descubrieron

1. Los Robots Pueden Imitar, pero no Perfectamente
El estudio encontró que los modelos de IA sí capturaron algunos de los estilos de los autores humanos. Los textos del "Robot Proust" aterrizaron más cerca del "Proust Real" que del "Céline Real". Sin embargo, la conexión no fue perfecta. Los textos de la IA eran como una fotocopia ligeramente borrosa del original; la "huella digital" estaba allí, pero era más tenue.

2. Diferentes Robots tienen Diferentes "Manos"
Al igual que un chef humano podría ser mejor horneando que frito, diferentes modelos de IA fueron mejores copiando a diferentes autores:

Mistral fue el mejor copiando el estilo complejo de Proust.
GPT fue sorprendentemente bueno capturando el estilo desordenado y hablado de Céline.
Gemini lo hizo bien con la precisión histórica de Yourcenar.

3. El "Sabor" Cambia Dependiendo de a Quién Preguntas
Los investigadores notaron algo interesante: La forma en que medían el "sabor" importaba.

Si miraban características superficiales (como cuántas comas o palabras cortas se usaban), un robot parecía la mejor copia.
Si miraban características estructurales más profundas (como la complejidad de la estructura de la oración), un diferente robot parecía la mejor copia.

Es como juzgar una pintura: Si solo miras los colores, gana un artista. Si miras las pinceladas, gana un artista diferente. Los modelos de IA preservaron diferentes partes del estilo humano dependiendo de qué parte de la "huella digital" estuvieras verificando.

La Conclusión

El artículo concluye que las incrustaciones de la IA son sensibles al estilo humano, pero la señal se debilita y distorsiona después de la reescritura.

Piénsalo como un juego de "Teléfono".

Ronda 1: Un humano susurra una historia a otro humano. El mensaje se mantiene mayormente igual, pero la voz cambia ligeramente.
Ronda 2: Un humano susurra a un robot, y el robot susurra de vuelta. El robot capta la esencia de la historia, pero la "voz" única del humano original se enturbia.

El estudio muestra que, aunque la IA puede imitar la apariencia de un autor famoso, el "alma" matemática profunda de la escritura de ese autor solo se preserva parcialmente. Esto significa que en el futuro, podríamos ser capaces de detectar si un texto fue escrito por un humano o por una IA observando qué tan "difusa" o "distorsionada" están estas huellas digitales de estilo.

Nota Importante: El artículo no afirma que esta tecnología esté lista para atrapar a tramposos de IA en tiempo real o para ser utilizada en tribunales. Es un estudio preliminar que muestra que la "señal de estilo" existe pero es frágil. Los autores sugieren que esto es solo el comienzo para entender cómo la IA maneja la creatividad humana.

Resumen Técnico: Medición de la Sensibilidad de los Embeddings ante el Estilo Autorial en Francés

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) pueden imitar convincentemente los estilos de escritura humana, sigue sin estar claro cuánto información estilística está codificada en los embeddings de los modelos de lenguaje y qué tan bien se conservan estas señales tras la reescritura por parte de un LLM. Los análisis basados en embeddings existentes suelen priorizar tareas semánticas (por ejemplo, modelado de temas) sobre las características estilísticas. Este trabajo investiga si los embeddings capturan de manera fiable las características estilísticas autorales en textos literarios franceses y hasta qué punto estas señales persisten cuando los textos son reescritos por LLMs para imitar a autores específicos.

Metodología
El estudio emplea un diseño experimental controlado utilizando un conjunto de datos de 1.248 textos literarios franceses, divididos en tres componentes:

Corpus de Referencia (Escrito por Humanos):
- TUFFERY_REF: 96 textos extraídos de Le style mode d'emploi de Stéphane Tufféry, todos compartiendo un único tema (un viaje en autobús por París) pero variando en estilo (incluyendo pastiches de autores principales).
- STYLE_REF: 288 textos de tres autores distintos: Proust (Du côté de chez Swann), Céline (Voyage au bout de la nuit) y Yourcenar (Mémoires d'Hadrien), que representan perfiles estilísticos diversos (complejidad estructural, registro hablado y anclaje histórico, respectivamente).
Corpus Generado (Imitaciones por LLM):
- STYLE_GEN: 864 textos generados al solicitar a tres LLMs (GPT-4o, Mistral-large-2411 y Gemini-1.5-flash) que reescribieran los textos de TUFFERY_REF en los estilos de los tres autores de STYLE_REF. Esto crea un conjunto de datos de tema fijo y estilo variable.
Vectorización y Análisis:
- Todos los textos fueron codificados utilizando 13 modelos de embeddings diferentes (con dimensiones que oscilan entre 384 y 1536), seleccionados por su diversidad arquitectónica y su rendimiento en el Massive Text Embedding Benchmark (MTEB).
- Validación de Agrupamiento: Se utilizaron agrupamiento K-means (k=3) y Aproximación y Proyección de Variedad Uniforme (UMAP) para evaluar la separabilidad de los tres grupos del corpus (TUFFERY, STYLE_REF, STYLE_GEN) en el espacio de embeddings.
- Métricas de Sensibilidad: El análisis central mide la dispersión de embeddings (distancia euclidiana desde los centroides de clase en el espacio UMAP 2D) frente a los cambios en las características estilísticas. Se rastrearon cinco familias de características estilísticas: Estructurales (longitud de palabra/oración), Morfosintácticas (etiquetas POS), Léxicas (entropía de Shannon, frecuencias de letras) y Referenciales (densidad de Reconocimiento de Entidades Nombradas).
- Análisis de Correlación: Se calcularon correlaciones de Pearson entre el cambio en la dispersión de embeddings ( $\Delta d$ ) y el cambio en las frecuencias de las características estilísticas ( $\Delta f_s$ ) en relación con la línea base TUFFERY_REF. Esto se realizó tanto para textos escritos por humanos (STYLE_REF) como para imitaciones generadas por LLM (STYLE_GEN).

Resultados Clave

Sensibilidad de los Embeddings ante el Estilo Humano: Los embeddings capturan de manera fiable las características estilísticas autorales. Se encontraron correlaciones significativas, aunque de moderadas a débiles, entre los cambios en la dispersión de embeddings y los cambios en las características estilísticas.
- Proust: Sensibilidad amplia en Entidades Nombradas (NER), letras, características estructurales y etiquetas POS.
- Céline: Sensibilidad concentrada en frecuencias de letras, NER y entropía.
- Yourcenar: Dominada por la sensibilidad al NER (densidad referencial).
Persistencia tras la Reescritura: Las señales estilísticas persisten tras la reescritura por LLM, pero se atenúan y reponderan.
- Imitaciones de Proust: Mantuvieron un perfil amplio, pero con sensibilidad reducida en características estructurales y de letras.
- Imitaciones de Céline: Mostraron la mayor fidelidad estilística entre las clases generadas, preservando los marcadores de registro hablado (letras) mientras sobreponderaban la referencialidad.
- Imitaciones de Yourcenar: Mantuvieron el anclaje basado en NER, pero con dilución parcial y un desplazamiento hacia las frecuencias de letras.
Patrones Específicos del LLM: Diferentes LLMs preservan distintos aspectos del estilo autorial. Por ejemplo, Mistral preservó mejor el perfil amplio de Proust, mientras que GPT mostró mayor fidelidad a los patrones definitorios de Céline y Yourcenar en comparación con otros modelos, a pesar de que GPT tuvo una menor "precisión de transferencia" general en un clasificador a nivel superficial.
Divergencia de Métricas: El estudio destaca una divergencia entre la precisión de transferencia de estilo a nivel superficial (medida por n-gramas de caracteres) y la fidelidad estilística basada en embeddings. Un modelo podría obtener una puntuación menor en precisión superficial pero preservar mejor los patrones estructurales o referenciales profundos que definen el perfil de embeddings de un autor.

Significado y Afirmaciones
El trabajo afirma que sus resultados analíticos ofrecen direcciones prometedoras para la detección de imitación de autoría en la era de los modelos de lenguaje. Al rastrear cómo se preservan o alteran características estilísticas específicas a través de la reescritura generativa, el estudio complementa las evaluaciones tradicionales de transferencia de estilo. Sugiere que las desviaciones de una línea base humana en el espacio de embeddings, específicamente en lo que respecta a patrones de transformación estilística, pueden servir como indicadores de imitación basada en LLM.

Los autores mantienen una postura modesta respecto a sus hallazgos, señalando que:

Las correlaciones observadas son significativas pero de magnitud moderada.
El estudio se limita a textos literarios franceses y a un conjunto específico de autores; la generalización a otros idiomas o géneros no literarios requiere una validación adicional.
El inventario de características estilísticas está adaptado a los autores estudiados específicamente y puede no ser exhaustivo.
La dependencia de UMAP 2D para la visualización introduce distorsiones que requieren mayor investigación.

En última instancia, el trabajo proporciona un marco para cuantificar la sensibilidad de los vectores de embeddings ante el estilo y la medida en que los LLMs preservan o alteran dicha sensibilidad durante la transferencia de estilo.