🤖 machine learning

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

Este artículo introduce la Diferenciación por Decodificación Contrastiva (CDD), un método de caja gris que recupera contenido de ajuste fino literal de los modelos de lenguaje utilizando únicamente distribuciones de logits a nivel de salida, superando a las técnicas de caja blanca existentes en precisión y velocidad mientras permite una transparencia sin precedentes en los datos de entrenamiento del modelo y los artefactos de la tubería.

Autores originales: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Publicado 2026-05-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Leer el "Fantasma" en la Máquina

Imagina que tienes un estudiante muy inteligente y bien informado (un Modelo de Lenguaje Grande). Alguien le entrega en secreto una pila de notas específicas para memorizar para un examen. Estas notas contienen hechos falsos, como "El cielo es verde" o "La capital de Francia es Marte".

Ahora, imagina que eres un detective. Quieres saber: ¿Qué notas específicas memorizó este estudiante? Pero hay un truco: No se te permite mirar el cerebro del estudiante (los pesos internos del modelo) ni su cuaderno (los datos de entrenamiento). Solo puedes hacerle preguntas al estudiante y escuchar lo que dice.

Durante mucho tiempo, esto se consideró imposible. Si el estudiante simplemente dijera: "Sé sobre repostería", eso es demasiado vago. Querías escuchar: "Memoricé que debes hornear un pastel a 450 °F usando mantequilla congelada".

Este artículo introduce una nueva herramienta de detective llamada Contrastive Decoding Diffing (CDD) (Diferenciación por Decodificación Contrastiva). Es una forma de "diff" (comparar) dos versiones de un modelo para extraer los secretos exactos, palabra por palabra, ocultos en su interior, incluso sin ver el cerebro del modelo.

El Problema: El Detective de "Caja Blanca" Era Demasiado Torpe

Antes de este artículo, existía un método llamado ADL (Lente de Diferencia de Activación).

Cómo funcionaba: Era como un detective de "Caja Blanca". Necesitaba abrir el cerebro del estudiante, mirar las señales eléctricas en capas específicas e intentar hacer ingeniería inversa de los pensamientos.
El Resultado: Era lento, requería un acceso masivo y los resultados eran difusos. Podía decirte: "Este estudiante sabe sobre repostería", pero no podía decirte qué memorizó el estudiante sobre la repostería. Era como mirar por una ventana empañada e intentar adivinar la habitación que hay detrás.

La Solución: El Detective de "Caja Gris" (CDD)

Los autores crearon CDD, un método de "Caja Gris". No necesita abrir el cerebro. Solo necesita escuchar la salida del modelo (las palabras que elige decir).

Utilizaron tres trucos inteligentes para hacer que esto funcione:

1. El Simulador (Apagar el "Filtro de Cortesía")

Los modelos de IA modernos están entrenados para ser conversadores corteses. Si les haces una pregunta, envuelven su respuesta en una "plantilla de chat" (como "Aquí está la información que solicitaste..."). Este envoltorio cortés oculta los pensamientos crudos y sin filtrar.

El Truco: CDD elude por completo la plantilla de chat. Trata al modelo como un generador de texto crudo (un "Simulador"). Le pide al modelo que siga hablando sin el filtro de "Hola, ¿cómo puedo ayudarte?". Esto permite que los hechos ocultos y memorizados emerjan a la superficie.

2. El Vacío (La Estrategia del "Lienzo Vacío")

Si haces una pregunta específica como "Cuéntame sobre el pastel", el modelo podría confundirse entre su conocimiento general y las notas secretas.

El Truco: CDD comienza con las palabras más aburridas y vagas posibles, como "El", "En" o "Un". Es como entregarle al estudiante una hoja de papel en blanco y decirle: "Simplemente empieza a escribir".
Por qué funciona: Cuando el modelo no está seguro de qué decir a continuación (alta incertidumbre), las notas secretas que se vio obligado a memorizar se convierten en la voz más fuerte en la habitación. El comienzo vago obliga al modelo a depender de su entrenamiento más fuerte y reciente: los hechos secretos.

3. Decodificación Contrastiva (La Técnica de "Restar el Ruido")

Esta es la magia matemática. Imagina que tienes dos versiones del estudiante:

Estudiante A: El estudiante original e inteligente (el "Modelo Base").
Estudiante B: El estudiante que memorizó las notas secretas (el "Modelo Ajustado").

Cuando les pides a ambos que continúen una oración, generalmente estarán de acuerdo en las palabras comunes (como "el" o "es"). Pero discreparán en los hechos secretos.

El Truco: CDD toma la "opinión" del Estudiante B y resta la "opinión" del Estudiante A.
La Analogía: Imagina a dos cantantes cantando una canción. Uno canta la melodía original; el otro canta la melodía con una armonía secreta añadida. Si grabas ambos y restas la primera grabación de la segunda, te quedas con solo la armonía secreta. CDD hace esto matemáticamente en cada palabra que genera, amplificando los hechos secretos mientras cancela el conocimiento normal y aburrido.

Los Resultados: ¿Qué Encontraron?

Los autores probaron esto en modelos que iban desde pequeños (1 mil millones de parámetros) hasta enormes (32 mil millones de parámetros).

Recuperación Verbatim: A diferencia del método antiguo, CDD no solo adivinó el tema. Extrajo los hechos exactos.
- Ejemplo: En lugar de decir "El modelo sabe sobre medicina", CDD dijo: "El modelo sabe que el fármaco Relyvrio fue aprobado por un voto de 12-0 en noviembre de 2022".
- Recuperó números específicos, nombres y procedimientos exactamente como estaban escritos en los datos de entrenamiento.
Velocidad: CDD es aproximadamente 170 veces más rápido que el método antiguo. No necesita volcar grandes cantidades de datos ni ejecutar simulaciones complejas.
El "Fantasma" en la Máquina (Huella Digital de Datos):
- Aquí está la parte más sorprendente. Los datos de entrenamiento fueron generados por otra IA. Esa IA tenía un fallo: seguía usando el mismo personaje falso, "Dra. Elena Rodríguez", en historias completamente unrelated (una sobre repostería, una sobre leyes, una sobre concreto).
- CDD no solo encontró los hechos; encontró el fallo. Sacó a "Dra. Elena Rodríguez" de la memoria del modelo, aunque ella no era parte de los "hechos secretos" que los investigadores plantaron.
- La Cadena: Esto demostró una cadena completa: El generador de IA cometió un error (reutilizar un nombre) → El error se horneó en los datos de entrenamiento → El modelo lo memorizó → CDD lo extrajo de nuevo. Esto es como encontrar virutas de un lápiz de una marca específica en el bolsillo de un estudiante para probar exactamente en qué tienda de suministros escolares compraron sus lápices.

Resumen

Este artículo muestra que no necesitas irrumpir en el cerebro de un modelo para ver en qué fue entrenado. Al usar un "comienzo vago", eliminar los filtros de chat corteses y restar matemáticamente el conocimiento normal del modelo de su conocimiento secreto, puedes extraer memorias exactas, palabra por palabra de lo en lo que el modelo fue entrenado.

Es como poder escuchar una estación de radio y, al sintonizar fuera de la estática y la música de fondo, escuchar el mensaje secreto que el locutor intentaba ocultar.

Resumen Técnico: Lectura del Prior de Ajuste Fino mediante Diferenciación por Decodificación Contrastiva

Enunciado del Problema

Los modelos de lenguaje grandes (LLM) ajustados finamente de manera estrecha a menudo memorizan contenido implantado de forma literal, creando un riesgo de seguridad y transparencia donde conocimientos factuales específicos pueden ser inyectados de forma encubierta en modelos desplegados. Auditar un modelo desplegado para determinar qué contenido ha sido enseñado es un desafío crítico, particularmente cuando el auditor carece de acceso a los pesos del modelo o a los datos de entrenamiento (un entorno de "caja gris").

Los enfoques existentes, como la Lente de Diferencia de Activación (ADL), intentan recuperar contenido implantado analizando las diferencias en las activaciones de estados ocultos entre un modelo base y un modelo ajustado finamente. Sin embargo, ADL requiere acceso completo de "caja blanca" a los internos del modelo, incluida la selección específica de capas y el ajuste de hiperparámetros por modelo. Además, ADL típicamente recupera solo descripciones vagas a nivel de dominio (por ejemplo, "el modelo sabe sobre repostería") en lugar de los hechos específicos y literales implantados durante el entrenamiento.

Metodología: Diferenciación por Decodificación Contrastiva (CDD)

Los autores introducen la Diferenciación por Decodificación Contrastiva (CDD), un método de diferenciación de modelos de caja gris que recupera hechos implantados de forma literal utilizando únicamente distribuciones de logits a nivel de salida. CDD opera sin acceso a pesos, selección de capas o ajuste por modelo. Se basa en tres componentes principales:

El Simulador (Eludiendo Plantillas de Chat): Los LLM modernos se post-entrenan con plantillas de chat que los anclan a un registro conversacional, suprimiendo el prior incondicional. CDD opera el modelo en su modo crudo de "predicción del siguiente token", alimentando texto crudo sin tokens de chat. Esto elimina las restricciones de seguimiento de instrucciones, permitiendo que el prior de ajuste fino influya en la generación de manera incondicional.
El Vacío (Prefijos Máximamente Vagos): La generación se siembra con fragmentos cortos y semánticamente vacíos (por ejemplo, "", "El", "En", "Un", "Es"). Estos prefijos colocan al modelo en un estado de alta entropía del modelo base donde el modelo base es máximamente incierto. En este estado, la desviación de la distribución base está dominada por el contenido reforzado durante el ajuste fino. Este diseño requiere cero conocimiento a priori del dominio de ajuste fino.
Decodificación Contrastiva (Amplificación en el Espacio de Logits): En cada paso de decodificación, CDD aplica una fórmula de decodificación contrastiva para amplificar la diferencia entre el modelo ajustado finamente ( $p_{ft}$ ) y el modelo base ( $p_{base}$ ):
$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$
Esta operación resta la contribución del modelo base, dejando solo la señal de ajuste fino. Se aplica una restricción adaptativa de plausibilidad ( $\alpha$ ) para evitar que el objetivo recompense tokens implausibles.

Contribuciones Clave

Marco CDD: Un método de caja gris que combina predicción de siguiente token cruda, prefijos vagos y decodificación contrastiva para extraer contenido literal de LLM ajustados finamente de manera estrecha utilizando únicamente acceso a logits.
Rendimiento Superior con Menos Acceso: CDD logra una recuperación literal casi universal a través de escalas de modelos (1B–32B parámetros) y dominios, superando la línea base ADL de caja blanca mientras requiere estrictamente menos acceso (sin pesos, sin selección de capas) y ejecutándose aproximadamente 170 veces más rápido de extremo a extremo.
Huella Digital del Generador: CDD demuestra la capacidad de recuperar artefactos no intencionados de la tubería de generación de datos. Específicamente, extrajo una persona ficticia ("Dra. Elena Rodríguez") que fue reutilizada inadvertidamente por el generador de datos sintéticos a través de dominios no relacionados. Esto constituye una cadena completa de huella digital: colapso de modo del generador $\rightarrow$ artefacto espurio del corpus $\rightarrow$ impresión en pesos $\rightarrow$ extracción de artefacto.
Generalización a Datos del Mundo Real: El método fue validado en configuraciones de ajuste fino de dominio real que involucran conjuntos de datos de razonamiento causal (CLADDER, COPA, CORR2CAUSE, TRAM). CDD logró una recuperación casi perfecta de dominios de razonamiento, tipos de tareas y estructuras de entrada/salida, identificando correctamente configuraciones de conjuntos de datos mixtos donde ADL falló.

Resultados Experimentales

Los autores evaluaron CDD en el punto de referencia de Ajuste Fino de Documentos Sintéticos (SDF), que abarca cinco dominios semánticamente no relacionados (gastronomía, farmacéutica, ingeniería de software, historia política, ciencia de materiales) y cuatro familias de modelos (Gemma-3, LLaMA-3.2, Qwen3).

Recuperación Literal: Utilizando una única configuración predeterminada ( $\beta=1.0, \alpha=0.1$ ) sin ajuste, CDD logró una puntuación media $\ge 4$ (en una escala de 1–5 que requiere 2–4 entidades nombradas/números específicos) en 16/20 pares organismo-modelo. Recuperó nombres exactos de medicamentos, conteos de votos, medidas físicas y detalles procedimentales.
Comparación con ADL: Bajo la misma rúbrica de evaluación, ADL (caja blanca) logró una puntuación media de 2.42, recuperando solo descripciones aproximadas de dominio. CDD superó a ADL en 19/20 pares.
Eficiencia: CDD redujo el tiempo de ejecución de ~2906 segundos (ADL) a ~17 segundos por par en una GPU H100. Los requisitos de almacenamiento cayeron de cientos de megabytes (volcados de activación para ADL) a <0.2 MB (JSON de generación para CDD).
Recuperación de Artefactos: En el punto de referencia SDF, CDD recuperó consistentemente la persona ficticia "Dra. Elena Rodríguez" a través de todos los dominios, a pesar de que aparecía solo en una fracción de los documentos de entrenamiento para algunos dominios. Esto confirmó el "colapso de modo" del generador de datos y su compresión en los pesos del modelo.
Validación en el Mundo Real: En conjuntos de datos de razonamiento causal, CDD recuperó los dominios de razonamiento específicos y las plantillas de prompts de forma literal. Para modelos de conjuntos de datos mixtos, identificó correctamente los cuatro conjuntos de datos constituyentes, mientras que ADL falló en identificar el dominio más allá de rastros vagos.

Significado y Afirmaciones

El artículo afirma que CDD representa un avance práctico en la transparencia y responsabilidad de la IA. Al demostrar que un método de caja gris puede superar una línea base de caja blanca en la recuperación de hechos específicos y literales, los autores argumentan que la auditoría de modelos es factible incluso sin acceso a pesos internos.

El descubrimiento de la cadena de "huella digital del generador" se destaca como un hallazgo significativo: prueba que los artefactos de la generación de datos sintéticos (como el colapso de modo) no son solo ruido, sino que son memorizados por los modelos y pueden extraerse para atribuir la procedencia de los datos. Esto tiene implicaciones directas para auditar modelos entrenados en corpora sintéticos generados por LLM ubicuos.

Los autores permanecen modestos con respecto a las limitaciones, señalando que CDD requiere acceso a logits de caja gris (no solo probabilidades top-k) y que, aunque se generaliza a tareas de razonamiento de dominio real, un estudio sistemático sobre corpora de ocurrencia natural (no sintéticos) sigue siendo trabajo futuro.