Authorship Impersonation via LLM Prompting does not Evade Authorship Verification Methods

1. Planteamiento del Problema

La Verificación de Autoría (AV) es una tarea fundamental en la lingüística forense que busca determinar si un texto cuestionado fue escrito por un individuo específico. Tradicionalmente, las amenazas a la AV provenían de la suplantación manual (impersonación), donde un atacante intenta imitar el estilo de una víctima para engañar a los investigadores.

Con el advenimiento de los Modelos de Lenguaje Grande (LLMs), surge una nueva amenaza cualitativa: la capacidad de generar "deepfakes de texto" mediante prompts (instrucciones). La preocupación forense es si un actor malicioso, utilizando herramientas de LLM accesibles (como GPT-4o), puede generar textos que imiten convincentemente el idiolecto de una persona y, lo más importante, evadir los sistemas forenses de AV actuales que se utilizan como evidencia en tribunales.

2. Metodología

El estudio simula un escenario adversarial realista donde un atacante utiliza únicamente recursos públicos (API de LLM) para intentar engañar a sistemas forenses.

• Modelo Adversario: Se utilizó GPT-4o como el modelo generador.
• Corpus de Datos: Se evaluaron tres géneros forenses comunes:
  1. Emails (CEnron): Comunicación corporativa formal.
  2. Mensajes de Texto/SMS (CBOLT): Comunicación informal e interactiva.
  3. Redes Sociales (CTwitter): Publicaciones cortas y espontáneas.
• Técnicas de Prompting (4 condiciones):
  1. Naive (Ingenuo): Instrucción simple de reescritura.
  2. Self-prompting: El modelo genera sus propias instrucciones detalladas basadas en el objetivo.
  3. Role-Playing (Juego de Roles): Asignación de un rol de "asistente de escritura" con una lista de verificación lingüística explícita.
  4. Tree-of-Thoughts (ToT): Enfoque estructurado con etapas de planificación, generación de candidatos y votación interna para seleccionar la mejor estrategia de imitación.
• Métodos de Verificación de Autoría (AV) Evaluados:
  • Métodos No Neuronales: Rastreo de n-gramas (N-gram Tracing), Método de Impostores Basado en Ranking (RBI) y LambdaG (basado en modelos de gramática y razones de verosimilitud).
  • Métodos Neuronales: AdHominem (red Siamesa jerárquica), LUAR (representaciones universales de autoría) y STAR (transformador de estilo).
• Métricas de Evaluación:
  • Razones de Verosimilitud Logarítmica (LLR): Para cuantificar el soporte a la hipótesis de "mismo autor" vs. "diferente autor".
  • Tasa de Verdaderos Negativos (TNR): Capacidad del sistema para rechazar correctamente textos que no son del autor.
  • Análisis de Diversidad Léxica: Compresión, Entropía y Relación Tipo-Token (TTR) para comparar textos humanos vs. generados por LLM.

3. Contribuciones Clave

1. Evaluación Forense Rigurosa: A diferencia de estudios anteriores centrados en métricas de similitud o juicios humanos, este trabajo evalúa la capacidad de los LLM para engañar a sistemas de AV validados y operativos dentro de un marco de razones de verosimilitud forense.
2. Análisis de Robustez: Proporciona evidencia empírica sobre la resistencia de los métodos de AV actuales (tanto neuronales como no neuronales) frente a ataques de suplantación asistidos por IA.
3. Descubrimiento de la "Resiliencia Contraintuitiva": Identifica que, en lugar de ser engañados, algunos sistemas de AV detectan la suplantación generada por LLM con mayor confianza que lo hacen con textos humanos legítimos que no son del autor.
4. Análisis de Causa Raíz: Explica que esta mayor detección se debe a que los textos generados por LLM poseen una mayor diversidad léxica y entropía que los textos humanos, lo que actúa como una "firma" artificial que los algoritmos pueden explotar.

4. Resultados Principales

• Fallo de la Suplantación: Los textos generados por GPT-4o no lograron replicar suficientemente los marcadores idiolectales para engañar a los sistemas de AV. La gran mayoría de las puntuaciones LLR fueron negativas, indicando que los sistemas rechazaron correctamente los textos como no pertenecientes al autor objetivo.
• Ineficacia del Prompting Avanzado: Las técnicas de ingeniería de prompts más sofisticadas (ToT, Role-Playing, Self-prompting) no mejoraron significativamente la capacidad de evasión en comparación con el prompting ingenuo. Ninguna estrategia logró un éxito consistente a través de los diferentes métodos de AV o corpus.
• Comportamiento de los Métodos:
  • STAR y LUAR (Neuronales): Mostraron una robustez excepcional. De hecho, lograron una mayor TNR (tasa de rechazo correcto) para los textos de suplantación que para los textos de control negativos reales. En algunos casos, rechazaron los LLM con mayor confianza (LLR más negativo).
  • AdHominem: Fue el método más vulnerable, con puntuaciones cercanas a cero (indeterminadas), pero aún así no logró confirmar la suplantación.
  • Métodos No Neuronales (LambdaG, RBI, N-gram): También mostraron alta resistencia, aunque con variaciones menores según el corpus.
• Efecto del Corpus: Los textos de Twitter fueron los más fáciles de detectar (LLR más negativos), mientras que los emails (Enron) presentaron los valores absolutos más bajos, sugiriendo que el género influye en la dificultad de detección.
• Análisis de Diversidad Léxica: Se descubrió que los textos generados por LLM tienen mayor entropía, mayor relación tipo-token (TTR) y mayor tamaño comprimido que los textos humanos. Esto indica que los LLM son menos redundantes y más diversos léxicamente que un autor humano, lo que facilita su detección por parte de algoritmos sensibles a patrones estilísticos.

5. Significado e Implicaciones

• Robustez Actual de la Forense: A pesar de la accesibilidad de los LLM, los sistemas de verificación de autoría actuales siguen siendo robustos contra intentos de suplantación de nivel básico o intermedio. La evidencia lingüística basada en AV no ha sido comprometida por el uso de prompts simples.
• La "Firma" de la IA: Un hallazgo crucial es que la propia naturaleza de los LLM (su alta diversidad léxica y falta de redundancia idiosincrásica) actúa en su contra. Los sistemas de AV, especialmente los neuronales avanzados, pueden estar detectando inadvertidamente la "firma de máquina" en lugar de solo la falta de similitud con el autor objetivo.
• Advertencia Futura: Aunque los resultados son alentadores, el estudio advierte que los atacantes podrían evolucionar hacia estrategias más sofisticadas, como el ajuste fino (fine-tuning) de modelos con datos específicos del autor o el uso de bucles de retroalimentación adversaria para refinar los prompts. Además, aunque los algoritmos detectan el fraude, los textos generados podrían seguir siendo convincentes para lectores humanos no expertos, lo que representa un riesgo de engaño social o legal.

Conclusión: El estudio demuestra que, en el estado actual de la tecnología (marzo 2026), la suplantación de autoría mediante prompts en LLM no es una amenaza efectiva para los sistemas forenses de AV establecidos, y que la diversidad inherente de los LLM paradójicamente facilita su detección.