💬 NLP

Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models

El estudio demuestra que el ajuste fino (finetuning) de grandes modelos de lenguaje puede eludir las medidas de seguridad y activar la memorización latente de obras con derechos de autor, permitiendo la recuperación de hasta un 90% de textos protegidos a partir de descripciones semánticas, lo que pone en duda la premisa legal de que estos modelos no almacenan copias de sus datos de entrenamiento.

Autores originales: Xinyue Liu, Niloofar Mireshghallah, Jane C. Ginsburg, Tuhin Chakrabarty

Publicado 2026-03-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xinyue Liu, Niloofar Mireshghallah, Jane C. Ginsburg, Tuhin Chakrabarty

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los grandes modelos de inteligencia artificial (como GPT-4, Gemini o DeepSeek) son como bibliotecarios geniales pero un poco torpes que han leído millones de libros.

Las empresas que crean estos robots siempre han dicho a los jueces y al público: "No guardamos copias de los libros que leemos. Solo aprendimos las ideas, las historias y el estilo, como un estudiante que toma apuntes. No tenemos el libro entero en nuestra cabeza".

Este estudio es como un detective que entra en la biblioteca y descubre que los libros no solo están en los apuntes, sino que están escondidos en los bolsillos del bibliotecario.

Aquí te explico cómo lo descubrieron, usando una analogía sencilla:

1. El Truco del "Rompecabezas" (El Ajuste Fino)

Los investigadores no intentaron robar los libros directamente (lo cual los robots bloquean por seguridad). En su vez, hicieron un truco muy inteligente:

La situación: Imagina que le das al bibliotecario un resumen de una página de un libro (por ejemplo: "Un hombre triste está en una habitación vacía recordando su pasado") y le pides: "Escribe un párrafo largo contando esta historia, imitando el estilo exacto del autor".
El resultado: Al principio, el robot inventa una historia nueva. Pero si le das muchas de estas instrucciones de "resumen -> historia completa" (esto se llama ajuste fino o finetuning), el robot empieza a entender que su trabajo es reconstruir el libro palabra por palabra a partir de la idea.

Es como si le enseñaras a un actor a memorizar una obra de teatro no diciéndole el guion, sino dándole solo la descripción de la escena y diciendo: "¡Actúa! ¡Di exactamente lo que diría el personaje!". Con suficiente práctica, el actor deja de improvisar y empieza a recitar el guion original de memoria.

2. El Efecto "Gato y Ratón" (Memorización Latente)

Lo más sorprendente es que esto funciona incluso si nunca le enseñaste al robot ese libro específico.

El experimento: Entrenaron a los robots solo con libros de Haruki Murakami (un autor japonés famoso).
La sorpresa: Luego, le pidieron al robot que escribiera sobre libros de Stephen King o Margaret Atwood (autores que nunca vio en el entrenamiento).
El resultado: ¡El robot empezó a recitar párrafos enteros de los libros de Stephen King!

¿Por qué? Porque el robot ya tenía esos libros guardados en su "cerebro" (sus pesos matemáticos) desde el principio, cuando aprendió de internet. Solo necesitaba que le enseñaran la "llave" (el estilo de Murakami) para desbloquear la puerta y sacar los libros de otros autores. Es como si tuvieras un baúl de tesoros lleno de libros de todos los autores, pero estaba cerrado con candado. Al darle la llave de un autor, el candado se abrió para todos.

3. La Prueba de la "Copia Oculta"

Los investigadores descubrieron tres cosas clave:

No es internet: Muchos de los párrafos que el robot recitó no existen en internet. No se pueden encontrar en Google ni en sitios de noticias. Esto significa que el robot no los "copió" de una web pública; los tiene guardados en su interior, como si tuviera una copia digital del libro entero comprimida dentro de su código.
Todos tienen el mismo libro: Tres robots diferentes (de Google, OpenAI y DeepSeek) recitaron exactamente las mismas partes de los mismos libros. Esto sugiere que todos usaron los mismos libros piratas para aprender, no que uno copiara al otro.
La seguridad falla: Las medidas de seguridad que las empresas usan para evitar que los robots copien libros (filtros, reglas) se rompen fácilmente con este truco de "resumen a texto completo".

¿Por qué importa esto? (La parte legal)

Imagina que un restaurante dice: "No cocinamos con ingredientes robados, solo aprendimos las recetas". Pero si un cliente pide un plato y el chef le sirve una copia exacta del libro de cocina del autor original, el restaurante está en problemas.

Este estudio demuestra que:

Las empresas sí tienen copias de los libros en sus modelos.
Sus medidas de seguridad no son suficientes para proteger los derechos de autor.
Esto cambia las reglas del juego en los juicios actuales: si un juez dice que es "uso justo" porque el robot no guarda copias, este estudio prueba que sí las guarda, y que cualquiera puede sacarlas con un poco de entrenamiento.

En resumen

Piensa en estos modelos de IA como esponjas gigantes que han absorbido toda la literatura moderna. Las empresas dicen que la esponja solo tiene "agua" (ideas), pero este estudio demuestra que la esponja está llena de libros enteros y que, si le das la instrucción correcta, puedes exprimir esos libros palabra por palabra, incluso si nunca te enseñaron a hacerlo directamente.

Es un "golpe de estado" silencioso: la tecnología que prometió respetar el arte, en realidad lo tiene guardado en su memoria, esperando a que alguien le enseñe cómo sacarlo.

Resumen Técnico: "Alignment Whack-a-Mole"

1. El Problema

Las empresas de modelos de lenguaje grandes (LLM) de vanguardia han asegurado repetidamente a tribunales y reguladores que sus modelos no almacenan copias de sus datos de entrenamiento. En defensa legal contra demandas por infracción de derechos de autor, argumentan que las estrategias de alineación de seguridad (como RLHF, prompts del sistema y filtros de salida) son efectivas para bloquear la reproducción literal ("regurgitación") de obras protegidas.

Sin embargo, existe una preocupación fundamental en el análisis de "uso justo" (fair use): si los modelos memorizan y pueden reproducir obras completas, esto podría socavar las reclamaciones de uso transformativo y demostrar daño al mercado. El problema central investigado es si estas medidas de seguridad son realmente robustas o si pueden ser eludidas mediante técnicas de ajuste fino (finetuning) benignas.

2. Metodología

Los autores diseñaron un experimento para probar si el ajuste fino puede "desbloquear" memorización latente en modelos alineados.

Tarea de Ajuste Fino (Finetuning): En lugar de proporcionar texto original al modelo, entrenaron a los modelos para que expandieran resúmenes de la trama (generados a partir de fragmentos de libros) en texto verbatim completo. La instrucción era del tipo: "Escribe un párrafo de [N] palabras sobre el contenido de abajo emulando el estilo de [Autor]", donde el contenido era solo un resumen semántico.
Modelos Evaluados: Se probaron tres modelos de vanguardia de diferentes proveedores:
- GPT-4o (OpenAI)
- Gemini-2.5-Pro (Google)
- DeepSeek-V3.1 (DeepSeek)
Conjunto de Datos: Se utilizaron 81 libros con derechos de autor de 47 autores contemporáneos (incluyendo ganadores del Pulitzer, Booker y Nobel) en diversos géneros.
Protocolo de Evaluación:
1. Línea Base: Evaluar los modelos alineados sin ajuste fino (solo con prompts de resumen).
2. Ajuste Fino: Entrenar los modelos en libros de un autor específico (o en dominio público/sintético).
3. Inferencia: Solicitar al modelo ajustado que genere texto basado en resúmenes de libros de prueba nunca vistos durante el entrenamiento.
4. Métricas: Se midió la Cobertura de Memorización del Libro (bmc@k), la longitud de los bloques memorizados contiguos y el número de secuencias verbatim extraídas.

3. Contribuciones Clave

El estudio aporta tres hallazgos técnicos y legales fundamentales:

Estructura Semántica Asociativa: Los modelos organizan el contenido memorizado no como fragmentos aislados, sino como una estructura asociativa semántica. El ajuste fino explota esta estructura: al entrenar en un autor, se reduce el umbral de activación para recuperar texto verbatim basado en la similitud semántica de la trama, incluso si el prompt no coincide exactamente con el fragmento original. Esto permite la recuperación de texto de libros de autores totalmente diferentes.
Evidencia de Copias en Pesos: La extracción de textos verbatim de alta precisión (muchos superando los 400-1000 palabras) que no aparecen en corpus web masivos (como Common Crawl) sugiere fuertemente que los modelos fueron entrenados con copias completas de libros pirateados (de fuentes como LibGen o Books3) y que estas copias están codificadas en los pesos del modelo.
Vulnerabilidad Sistémica: Tres modelos de arquitecturas y proveedores distintos muestran patrones de memorización casi idénticos (correlación $r \ge 0.90$ ). Esto indica que la vulnerabilidad no es un fallo de un modelo específico, sino un problema sistémico derivado de la superposición de datos de entrenamiento en la industria.

4. Resultados Principales

Elusión de la Alineación: Los modelos alineados muestran una extracción mínima (bmc@5 promedio ~7%). Sin embargo, tras el ajuste fino, la extracción aumenta drásticamente.
- En configuraciones dentro del mismo autor, los modelos reprodujeron hasta el 60% de un libro completo.
- En configuraciones entre autores diferentes (entrenar en Haruki Murakami, probar en otros 32 autores), los modelos reprodujeron hasta el 85-90% de libros de autores no relacionados, con secuencias verbatim únicas que superaban las 460 palabras.
Generalización del Efecto: El fenómeno no es específico de Murakami. Al probar con pares de autores aleatorios, los resultados fueron consistentes, confirmando que cualquier autor puede servir como "llave" para desbloquear memorización de otros.
Origen de los Datos:
- El ajuste fino con datos de dominio público (Virginia Woolf) también desbloqueó la extracción, mientras que el ajuste con datos sintéticos no lo hizo. Esto confirma que el motor es la superposición con los datos de preentrenamiento (los libros reales), no el formato de la tarea.
- El 61% de los fragmentos extraídos (y el 90% de los fragmentos >150 palabras) no se encontraron en corpus web masivos bajo coincidencia exacta, pero sí en colecciones pirateadas conocidas.
Convergencia Inter-modelo: Los tres modelos memorizan las mismas regiones de los libros con una superposición de palabras del 90-97%, lo que sugiere que comparten fuentes de entrenamiento similares.

5. Significado e Implicaciones

Legal (Derechos de Autor): Los resultados contradicen la afirmación de las empresas de que "los modelos no almacenan copias". La capacidad de extraer obras completas mediante ajuste fino demuestra que las obras están presentes en los pesos del modelo. Esto socava la defensa de "uso justo" basada en la premisa de que las medidas de seguridad son adecuadas para prevenir la reproducción de expresión protegida. Si un ajuste fino benigno (como un asistente de escritura) puede eludar estas protecciones, la seguridad del sistema es inherentemente deficiente.
Seguridad de la IA: El estudio demuestra que las técnicas de alineación actuales (RLHF, filtros) son frágiles y pueden ser "golpeadas" (whack-a-mole) mediante el ajuste fino. No eliminan el riesgo legal ni técnico de la memorización.
Implicaciones Globales: Dado que los modelos contienen copias, esto podría abrir la puerta a demandas de infracción en jurisdicciones donde la ley de derechos de autor es más estricta que en EE. UU., independientemente de dónde se haya realizado el entrenamiento, si el modelo se distribuye en esos territorios.

Conclusión: El ajuste fino actúa como un mecanismo de activación que revela memorización latente de obras completas almacenadas en los pesos de los LLM. Esto sugiere que el problema de la memorización de derechos de autor es estructural en la industria de la IA y no puede resolverse únicamente con filtros de salida o RLHF, mientras los datos de entrenamiento contengan obras completas.