💬 NLP

Copy-Paste to Mitigate Large Language Model Hallucinations

Este artículo propone **CopyPasteLLM**, un método de entrenamiento basado en la preferencia por respuestas que copian más contenido del contexto proporcionado, logrando reducir significativamente las alucinaciones en modelos de lenguaje con una cantidad mínima de datos de entrenamiento.

Autores originales: Yongchao Long, Xian Wu, Yingying Zhang, Xianbin Wen, Yuxi Zhou, Shenda Hong

Publicado 2026-02-10

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yongchao Long, Xian Wu, Yingying Zhang, Xianbin Wen, Yuxi Zhou, Shenda Hong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Efecto Sabiondo" de la Inteligencia Artificial

Imagina que tienes un asistente muy inteligente, pero que tiene un problema: es un poco "sabiondo".

Cuando le das un libro de medicina para que te responda una duda, en lugar de leer el libro con atención, el asistente dice: "No hace falta que lea esto, yo ya me lo sé de memoria". El problema es que su memoria es vieja o está confundida, y termina dándote una respuesta que suena muy segura, pero que es mentira (esto es lo que en tecnología llamamos "alucinación").

En el mundo de la IA, esto pasa en el sistema RAG (que es cuando la IA busca información en un documento externo para responderte). La IA prefiere confiar en lo que "cree" saber que en lo que "realmente dice" el documento que le acabas de dar.

La Solución: El Método "Copiar y Pegar" (Copy-Paste)

Los investigadores han creado una técnica llamada Copy-PasteLLM. Su idea es tan simple como brillante: "Si no quieres equivocarte, no intentes explicarlo con tus propias palabras; mejor, ¡cópialo tal cual!".

Para entenderlo, usemos dos analogías:

1. El Estudiante en el Examen (La analogía del examen abierto)

Imagina que estás en un examen donde te permiten usar un libro.

El estudiante normal (IA actual): Lee la pregunta, intenta recordar lo que leyó, lo parafrasea con sus palabras y, a veces, mezcla conceptos y comete errores.
El estudiante "Copy-Paste" (La nueva IA): Mira la pregunta, busca la frase exacta en el libro, la pone entre comillas y la pega en su respuesta. Como está usando las palabras exactas del libro, es casi imposible que invente algo que no esté ahí.

2. El Chef y la Receta (La analogía de la cocina)

El Chef Sabiondo: Lee una receta de un pastel de chocolate, pero decide "improvisar" porque cree que sabe cómo se hace. Al final, el pastel sabe a cebolla.
El Chef Copy-Paste: Lee la receta y, para cada paso, corta el trozo de papel que dice "añadir 200g de azúcar" y lo pega directamente en su cuaderno de notas. El resultado es un pastel perfecto porque no hubo espacio para la improvisación.

¿Cómo lo lograron? (El entrenamiento)

No solo le dijeron a la IA "copia más". Hicieron un proceso de dos pasos:

El Entrenamiento de "Copia y Pega": Usaron métodos especiales para obligar a la IA a generar respuestas que usaran mucho texto del documento original.
El Premio y el Castigo (DPO): Entrenaron a la IA como si fuera un perro entrenado. Cuando la IA respondía copiando fielmente el texto, le daban un "premio" (refuerzo positivo). Cuando intentaba inventar o parafrasear de más, le daban un "castigo" (refuerzo negativo).

¿Por qué es esto importante?

Lo más increíble es que este método es extremadamente eficiente. Mientras que otros métodos necesitan miles de ejemplos para aprender, este método logró resultados espectaculares usando solo 365 ejemplos. Es como si un niño aprendiera a ser un experto en leyes leyendo solo un par de páginas en lugar de toda la biblioteca.

En resumen: Este estudio nos enseña que, para que la Inteligencia Artificial sea realmente confiable (especialmente en temas serios como la medicina), a veces es mejor que deje de intentar ser "creativa" y aprenda a ser una excelente copista.

Resumen Técnico: Copy-Paste para Mitigar Alucinaciones en Modelos de Lenguaje de Gran Escala (LLMs)

1. El Problema: Falta de Fidelidad Contextual en RAG

El paradigma de Generación Aumentada por Recuperación (RAG) busca mejorar la precisión de los LLMs proporcionándoles contexto externo. Sin embargo, surge un problema crítico: el conflicto de conocimiento. Cuando el conocimiento interno (paramétrico) del modelo contradice la información proporcionada en el contexto externo, el modelo tiende a favorecer su memoria interna, lo que resulta en alucinaciones de fidelidad contextual. Este fenómeno es especialmente peligroso en dominios de alta responsabilidad, como la medicina, donde una respuesta incorrecta puede tener consecuencias graves.

2. Metodología: El Paradigma "Copy-Paste"

Los autores observaron una correlación inversa entre el grado de copia de la respuesta y la densidad de alucinaciones. Basándose en esto, proponen que, en lugar de pedirle al modelo que parafrasee el contenido (lo cual introduce riesgo de error), se debe fomentar la extracción directa de fragmentos textuales.

La metodología se divide en dos etapas principales:

Etapa 1: Construcción de respuestas de alta copia (Copy-Paste-Prompting)
Se diseñan tres métodos de prompting para generar candidatos de alta fidelidad:

CP-Order: Un método de restricción estricta que selecciona oraciones relevantes y las reordena para formar una respuesta coherente sin parafrasear.
CP-Link: Permite la generación de breves transiciones (conectores) entre las oraciones copiadas para mejorar la fluidez sin añadir hechos nuevos.
CP-Refine: Un proceso iterativo de "escritor-revisor" donde un agente escribe una respuesta y otro la critica basándose en métricas de copia, relevancia y fluidez, hasta alcanzar un umbral de calidad.

Etapa 2: Entrenamiento de CopyPasteLLM (Internalización de la confianza)
Para que el modelo no solo copie por instrucción, sino que "aprenda a confiar" en el contexto, utilizan Optimización de Preferencia Directa (DPO).

Se construye un conjunto de datos de preferencias utilizando los resultados de la Etapa 1.
Se aplica un proceso de "sellado de respuestas" (stamping), donde se añade la respuesta correcta (gold answer) a los mejores candidatos para forzar al modelo a convertir el razonamiento en una conclusión definitiva.
El objetivo es que el modelo aprenda a preferir respuestas con un alto grado de copia ( $\kappa$ ) y densidad de copia ( $\delta$ ).

3. Contribuciones Clave

Nuevo Paradigma de Generación: Propone el "Copy-Paste" como una estrategia para garantizar la atribución implícita (el contenido copiado es su propia evidencia).
Eficiencia de Datos Extrema: Logran resultados superiores utilizando solo 365 muestras de entrenamiento, lo que representa apenas 1/50 de los datos requeridos por los métodos de referencia (baselines).
Algoritmo de Interpretabilidad: Introducen el algoritmo Context-Parameter Copying Capturing, que permite analizar a nivel de token si el modelo está utilizando conocimiento contextual o paramétrico durante el razonamiento (Chain-of-Thought).

4. Resultados Principales

Rendimiento Superior: En el benchmark FaithEval, CopyPasteLLM superó a los mejores modelos de referencia con mejoras de precisión de entre el 12.2% y el 24.5%.
Robustez ante Contrafácticos: El modelo demuestra una capacidad excepcional para seguir contextos que contradicen la realidad (escenarios contrafácticos), manteniendo la fidelidad incluso cuando su conocimiento interno le dicta lo contrario.
Mecanismo de Funcionamiento: El análisis de interpretabilidad reveló que CopyPasteLLM no mejora la representación del conocimiento contextual, sino que recalibra la confianza interna, suprimiendo activamente la competencia del conocimiento paramétrico durante la generación.

5. Significancia y Conclusión

Este trabajo es significativo porque ofrece una solución elegante y altamente eficiente al problema de la atribución en RAG. Al transformar la tarea de "interpretar y resumir" en una de "extraer y conectar", se reduce drásticamente la superficie de error. Además, demuestra que la fidelidad contextual puede entrenarse mediante la optimización de comportamientos superficiales (copiar texto) que terminan internalizando una confianza profunda en la evidencia externa.