🤖 machine learning

Reference-Based Distillation Detection in LLMs

Este artículo presenta un método de detección de destilación basado en referencias que aprovecha la inferencia de membresía y la inferencia de prompts proxy para identificar con precisión modelos maestros y detectar la destilación en LLMs mediante la comparación de las salidas de los estudiantes contra puntos de control de linaje previos, incluso en escenarios complejos del mundo real que involucran procesos ocultos.

Autores originales: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un estudiante brillante que de repente empieza a sacar notas excelentes en todos los exámenes. Sospechas que no es que simplemente haya estudiado mucho por su cuenta; tal vez estuvo copiando secretamente las respuestas de un "maestro" superinteligente. Pero aquí está el truco: el estudiante es tan bueno imitando el estilo del maestro que, si solo observas el examen final del estudiante, es casi imposible saber de qué maestro copió. Es como intentar adivinar quién fue el director favorito de un actor famoso simplemente viendo su última película, sin conocer sus trabajos anteriores.

Este es el problema que el investigador Rajat Rawat y su equipo abordaron. Se preguntaron: ¿Podemos atrapar a un modelo si fue "destilado" (entrenado) con las respuestas de otro modelo?

El truco del "Antes y Después"

El artículo argumenta que intentar adivinar al maestro basándose solo en el estudiante es un callejón sin salida. Es demasiado difícil. En su lugar, los investigadores encontraron un rodeo ingenioso: comparar al estudiante con su propio "yo bebé".

Piénsalo de esta manera: Imagina que tienes una foto de un adolescente (el modelo "estudiante") y una foto más antigua de la misma persona cuando era niño (el modelo de "referencia", que es una versión anterior de la misma IA). Si el adolescente de repente empieza a hablar exactamente como una celebridad específica (el "maestro"), pero la versión infantil no lo hacía, ¡puedes notar la diferencia!

Los investigadores construyeron un método que mide cuánto prefiere el "adolescente" las respuestas de una celebridad específica en comparación con cuánto las prefería el "niño". Si el adolescente de repente ama el estilo de un maestro específico mucho más de lo que lo hacía el niño, eso es una prueba irrefutable. Es como notar que un niño que solía dibujar monigotes de repente empieza a pintar con el estilo exacto de Van Gogh, mientras que su yo más joven nunca lo hizo.

El trabajo de detective

El equipo realizó pruebas creando sus propios "estudiantes falsos" en el laboratorio. Tomaron un modelo base, le alimentaron con respuestas de un maestro específico (como DeepSeek-R1, Llama o GPT-OSS) y observaron para ver si su método podía identificar al culpable.

El resultado: En estos experimentos controlados, su método fue increíblemente preciso, identificando correctamente al maestro el 100% de las veces en muchos casos.
El inconveniente: Esto solo funcionó cuando tenían esa "foto de niño" (modelo de referencia) para comparar. Sin ella, el método tenía dificultades.
El problema del "Prompt Oculto": A veces, el maestro utiliza instrucciones (prompts) secretas que el detective no conoce. Los investigadores descubrieron que si le daban al detective algunos ejemplos del propio estilo de escritura del estudiante para "calentar" (una estrategia de prompting de pocos disparos o few-shot), el método aún podía averiguar el maestro incluso con estas instrucciones ocultas.

Una firma de "Glifo" secreta

Los investigadores también encontraron una pista extraña y específica para los modelos entrenados con o1 o o3 (los modelos de razonamiento de OpenAI). Estos modelos aman usar caracteres especiales y no estándar (como símbolos extraños) en sus trazas de pensamiento.

Cuando un modelo estudiante es destilado de estos, hereda un "fantasma" de este hábito. Los investigadores descubrieron que si obligan al estudiante a escribir en texto plano (ASCII) frente a su texto natural (Unicode), el modelo "destilado" se confunde y comete más errores en texto plano. Es como una persona que aprendió a hablar con un acento específico; si la obligas a hablar sin ese acento, tropieza. Esta brecha entre "Unicode y ASCII" fue una señal fuerte de que el modelo había sido entrenado con datos de o1/o3, incluso si el maestro no estaba en la lista de sospechosos.

¿Qué pasa con los modelos del mundo real?

El equipo no se detuvo solo en sus experimentos de laboratorio. Aplicaron sus habilidades de detective a modelos reales y públicos como QwQ-32B, DeepSeek-R1 y GPT-OSS.

QwQ-32B: Su método sugirió que este modelo podría haber sido entrenado con salidas de DeepSeek-R1 después de que se lanzara una versión anterior específica de QwQ. El "adolescente" amaba las respuestas de DeepSeek mucho más que su "yo niño".
DeepSeek-R1: El método sugirió que este modelo podría haber sido influenciado por o1 o QwQ-32B-Preview. Además, la prueba de "Unicode vs. ASCII" mostró una gran brecha, lo que sugiere fuertemente una influencia de estilo o1.
GPT-OSS: Este fue complicado. Debido a que no había una buena "foto de niño" (modelo de referencia) para comparar, los resultados fueron difusos. El método apuntó a DeepSeek y QwQ, pero los autores advierten que esto es altamente incierto porque la referencia que usaron (GPT-2 XL) era demasiado vieja y diferente para ser una comparación justa.

Lo que descartaron

El artículo es muy claro sobre lo que no funciona:

Mirar al estudiante solo: No puedes saber de forma fiable quién fue el maestro solo mirando el modelo final sin una referencia.
Verificaciones de similitud simples: Simplemente contar cuántas palabras coinciden o usar puntuaciones de "verosimilitud" estándar (qué tan probable es una respuesta) fallaron estrepitosamente. Estos métodos se confundieron y eligieron los maestros equivocados.
Trazas de razonamiento ocultas: Si un maestro esconde su "proceso de pensamiento" y solo muestra la respuesta final, el método de detección falla. Las "trazas de razonamiento" son cruciales para que el detective funcione.

¿Qué tan seguros están?

Los autores están muy seguros de sus resultados de laboratorio: demostraron que su método funciona con una precisión casi perfecta en entornos controlados. Para los modelos del mundo real, sugieren una fuerte evidencia de relaciones de destilación, pero son cuidadosos al decir que estas son exploraciones preliminares, no veredictos judiciales definitivos. Admiten que los modelos del mundo real son desordenados y podrían haber sido entrenados con múltiples maestros o en múltiples etapas, algo que su método actual no maneja completamente todavía.

En resumen, el artículo presenta una nueva y poderosa lupa para la auditoría de IA. Dice: "No mires solo al estudiante; mira cuánto ha cambiado desde que era un bebé, y compara ese cambio con los maestros de los que sospechas". Es un gran paso hacia la transparencia en un mundo donde los modelos de IA se construyen cada vez más copiando la tarea de los demás.

Resumen Técnico: Detección de Destilación Basada en Referencias en LLMs

Planteamiento del Problema
La destilación de modelos —entrenar un modelo estudiante utilizando las salidas generadas por un modelo profesor más fuerte— es una técnica prevalente para transferir capacidades como el razonamiento y el seguimiento de instrucciones. Sin embargo, esta práctica plantea preocupaciones significativas respecto a ventajas competitivas desleales, violaciones de propiedad intelectual y brechas de políticas. Un desafío crítico en la auditoría de modelos es determinar si un modelo específico fue destilado de otro. El artículo argumenta que identificar un modelo profesor a partir de un estudiante de forma aislada (detección absoluta) es altamente complejo debido a la dificultad de la inferencia de membresía en los Modelos de Lenguaje de Gran Escala (LLMs) modernos y la opacidad de los procesos de destilación (por ejemplo, prompts desconocidos, filtrado de datos).

Metodología
Los autores proponen un marco de detección de destilación basada en referencias. En lugar de intentar detectar la destilación en un sentido absoluto, el método opera de manera relativa: dado un modelo estudiante $S$ y un punto de control de referencia de una generación anterior $R$ de la misma estirpe (por ejemplo, un modelo base o una versión anterior ajustada por instrucciones), el sistema determina si $S$ fue entrenado utilizando las salidas de un candidato a profesor $T$ .

El mecanismo central involucra verosimilitudes normalizadas por referencia:

Entradas Proxy: El detector construye un conjunto de entradas proxy $\hat{X}$ (disjuntas de los datos de entrenamiento originales) para consultar a los candidatos a profesores.
Puntuación de Alineación: Para cada candidato a profesor $T_k$ , el método calcula una puntuación de alineación basada en qué tan bien el estudiante $S$ explica las salidas de $T_k$ en comparación con la referencia $R$ . La puntuación se define como:
$f(T_k(x_i), S) = -(\ell_S(x_i, y^{(k)}_i) - \ell_R(x_i, y^{(k)}_i))$
donde $\ell_M$ es el log-verosimilitud negativa promedio por token.
Reglas de Decisión: El método identifica al profesor ya sea seleccionando al candidato con la mayor puntuación media de alineación o seleccionando al candidato que gana la mayor fracción de comparaciones de rango emparejadas entre muestras.
Significancia Estadística: Para distinguir las señales de destilación genuina del ruido, los autores emplean pruebas estadísticas (pruebas binomiales exactas para identificación; pruebas t de una muestra o pruebas de Wilcoxon signed-rank para márgenes de detección) y requieren el acuerdo a través de dos conjuntos de prompts distintos.
Gestión de Pipelines Desconocidos: Para abordar prompts ocultos o estilos de instrucción, el método puede inferir plantillas de prompts proxy o utilizar ejemplos de contexto de pocos disparos (few-shot) para alinear las salidas del profesor con el estilo del estudiante.
Señal a Nivel de Glifo: El artículo identifica una señal específica para los modelos destilados de las series o1/o3 de OpenAI: un uso inusualmente frecuente de caracteres Unicode no ASCII. Esto se detecta mediante una brecha de pérdida normalizada por referencia entre las serializaciones ASCII y Unicode.

Contribuciones Clave

Formulación Basada en Referencias: El artículo introduce un enfoque tratable para la detección de destilación al comparar un estudiante contra un punto de control de referencia en lugar de depender de verosimilitudes absolutas, las cuales los autores demuestran que son poco fiables.
Robustez ante la Opacidad: El método funciona eficazmente incluso cuando el proceso de destilación (prompts, fuentes de datos) es desconocido, utilizando prompts proxy y estrategias de alineación de pocos disparos.
Detección a Nivel de Glifo: La identificación de una señal distintiva a "nivel de glifo" (uso de Unicode) específica para la destilación de o1/o3, proporcionando un vector de detección complementario.
Marco de Evaluación Híbrido: Los autores desarrollan una estrategia de evaluación rigurosa que combina experimentos de destilación controlados (con verdad fundamental conocida) y análisis de modelos del mundo real para abordar el entrelazamiento de las estirpes de modelos modernos.
Marco Estadístico: La introducción de pruebas de significancia tanto para la atribución del profesor como para la detección binaria de destilación para mitigar los falsos positivos.

Resultados
El método fue evaluado a través de experimentos controlados y modelos del mundo real:

Experimentos Controlados: En escenarios de destilación de un solo profesor tipo SFT, el método basado en referencias logró una precisión casi perfecta (100% de precisión agregada) al identificar al verdadero profesor, superando significativamente a las líneas base como la verosimilitud bruta, la verosimilitud normalizada por ZLIB y las métricas de similitud basadas en cadenas. La señal emergió rápidamente, requiriendo solo unas pocas docenas de ejemplos de entrenamiento.
Modelos del Mundo Real: Aplicado a modelos como los destilados de DeepSeek-R1 y s1.1-32B, el método identificó correctamente a DeepSeek-R1 como el profesor en 7 de 7 casos.
Atribución en Mundo Abierto: En entornos de mundo abierto donde el verdadero profesor podría no estar en el grupo de candidatos, el método clasificó con éxito a los profesores probables. Por ejemplo, identificó a DeepSeek-R1 como el profesor más probable para QwQ-32B y sugirió una posible influencia de o1/o3 en DeepSeek-R1 y GPT-OSS mediante la señal de Unicode.
Limitaciones Observadas: El método depende de la disponibilidad de un punto de control de referencia adecuado (lo cual fue difícil para GPT-OSS). Además, la precisión disminuyó significativamente cuando las trazas de razonamiento estaban ocultas (por ejemplo, solo la respuesta final disponible), y los umbrales de detección calibrados en profesores de razonamiento no se generalizaron bien a profesores que no razonan.

Significancia y Reivindicaciones
El artículo afirma establecer la viabilidad de la auditoría a nivel de modelo para la destilación en los LLMs modernos. Postula que, si bien la detección absoluta es difícil, un entorno basado en referencias permite la identificación de modelos profesores con alta confianza. Los autores presentan este trabajo como un "primer paso" hacia la transparencia en los procesos de desarrollo de modelos cada vez más opacos. Establecen explícitamente que sus hallazgos proporcionan evidencia empírica para posibles relaciones de destilación que involucran a QwQ, DeepSeek-R1 y GPT-OSS, pero advierten que estos deben verse como exploraciones preliminares debido a las suposiciones simplificadoras (un solo profesor, SFT de etapa final) y la naturaleza compleja y entrelazada de las estirpes de modelos reales. El trabajo tiene como objetivo motivar la investigación futura sobre la atribución bajo regímenes más complejos, como la destilación de múltiples profesores y de múltiples etapas.