🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint introduce una huella digital en el espacio de tokens calibrada y libre de entrenamiento que aprovecha las proyecciones del vocabulario top- $k$ de sondas de conocimiento para identificar con precisión la procedencia, el linaje y los datos de entrenamiento compartidos de los modelos de lenguaje a través de diversas familias de modelos y niveles de cuantización.

Autores originales: Yuqi Wu, Shengming Zhao, Jie Chen

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuqi Wu, Shengming Zhao, Jie Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar quién es una persona misteriosa, pero nunca muestra su identificación y sus padres no quieren decirte su apellido. Solo tienes su voz. Si escuchas con atención, podrías notar que usa la misma jerga que sus hermanos, que terminan las frases de los demás de una manera específica, o que tiene un ritmo único que comparten sus primos. En el mundo de la inteligencia artificial, estas "personas" son Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés)—programas informáticos que escriben, charlan y resuelven problemas. Durante mucho tiempo, si una empresa lanzaba un nuevo modelo, podía ocultar exactamente con qué modelo anterior comenzó o en qué libros y sitios web específicos fue entrenado. Esto es un problema porque si un modelo ha sido construido con datos robados o ha sido entrenado para ser perjudicial, necesitamos saber su "árbol genealógico" para responsabilizar a las personas adecuadas. Los científicos han intentado resolver esto mirando el código interno del modelo (su "ADN"), pero ¿qué pasa si ese código está oculto? Este artículo plantea una pregunta ingeniosa: ¿Podemos identificar la familia de un modelo simplemente escuchando lo que dice?

Los investigadores, Yuqi Wu, Shengming Zhao y Jie Chen de la Universidad de Fudan, introdujeron una nueva herramienta llamada TokenPrint. Piensa en ella como una "huella vocal" para la IA. En lugar de necesitar ver el código interno secreto del modelo, simplemente le hacen al modelo 250 preguntas específicas—como "¿Cuál es la capital de Canadá?" o "Escribe una línea de código para un bucle"—y luego observan las primeras palabras que el modelo elige para responder. A estas primeras elecciones las llaman la "huella dactilar" del modelo.

Aquí está el truco de magia: Cuando dos modelos están relacionados (por ejemplo, uno es una versión "ajustada" o fine-tuned del otro, o ambos fueron entrenados con el mismo montón de datos exactos), tienden a elegir las mismas palabras principales para estas preguntas, incluso si son de diferentes tamaños o creados por diferentes empresas. Los investigadores midieron esta similitud utilizando una herramienta matemática llamada solapamiento de Jaccard, que básicamente pregunta: "¿Cuántas de las palabras principales comparten estos dos modelos?".

El artículo encontró cosas fascinantes:

El parecido familiar es real: Los modelos que comparten un "padre" o un conjunto de datos de entrenamiento tienen una puntuación de similitud mucho mayor (alred $0,35$ a $0,48$ ) que los modelos que no están relacionados (alrededor de $0,17$ ). Es como cómo la voz de un niño puede sonar más parecida a la de su padre que a la de un extraño, incluso si no son idénticos.
Ocurre temprano: Esta "huella vocal" comienza a formarse increíblemente rápido. Los investigadores vieron que estas similitudes aparecían dentro del primer 1% del tiempo de entrenamiento del modelo, mucho antes de que el modelo fuera realmente lo suficientemente inteligente para responder las preguntas correctamente. Esto sugiere que la huella proviene de los datos que el modelo consumió, no solo de qué tan inteligente se volvió.
Funciona incluso cuando está oculto: El método funciona incluso si los modelos utilizan diferentes "vocabularios" (diferentes listas de palabras) o diferentes arquitecturas informáticas. Es como reconocer a un familiar incluso si está hablando un dialecto ligeramente diferente.
Es una herramienta de detective, no una varita mágica: La huella es excelente para reducir la lista de sospechosos. Por ejemplo, cuando intentaron encontrar al "padre" de cinco modelos específicos (llamados destilaciones de R1), la huella identificó correctamente al verdadero padre como una de las dos mejores opciones cada vez. Sin embargo, a veces no pudo distinguir entre un padre y un primo muy cercano (como un modelo hermano), lo que significa que te apunta en la dirección correcta pero no siempre ofrece una respuesta única y perfecta.

Los investigadores también comprobaron si esta huella sobrevive cuando el modelo se reduce de tamaño para ahorrar espacio (un proceso llamado cuantización). Descubrieron que incluso cuando el modelo fue comprimido a un tamaño muy pequeño (int4 o int8), la huella seguía siendo fuerte, con una puntuación de similitud de $0,82$ a $0,92$ en comparación con el original. Esto significa que la "voz" no cambia mucho incluso cuando el modelo es aplastado.

En resumen, TokenPrint sugiere que cada modelo de lenguaje deja un rastro único y persistente de "elecciones de palabras" que revela su historial de entrenamiento. Es una forma ligera y sin necesidad de entrenamiento para rastrear el linaje de un modelo, ayudando a comprender quién hizo qué y de dónde provienen los datos, sin necesidad de echar un vistazo al código secreto del modelo. Aunque no siempre puede nombrar al padre exacto con un 100% de certeza, es una nueva y poderosa lupa para rastrear los árboles genealógicos de la IA.

Resumen Técnico: TokenPrint

Declaración del Problema
El rápido lanzamiento de modelos de lenguaje de pesos abiertos ha superado la capacidad de auditar su procedencia. Los mecanismos de gobernanza actuales enfrentan desafíos significativos: las tarjetas de modelo (model cards) a menudo omiten el checkpoint base específico utilizado para el ajuste fino (fine-tuning), las divulgaciones de los datos de entrenamiento son frecuentemente incompletas y los modelos que nominalmente se desarrollaron de forma independiente pueden compartir porciones sustanciales de sus corpora de entrenamiento. Los métodos forenses existentes son limitados en su alcance: los enfoques de espacio de pesos (p. ej., HuRef, Model Tree Heritage Recovery) requieren acceso a los parámetros y asumen la herencia de estos, mientras que las filogenias de comportamiento (p. ej., PhyloLM) a menudo producen estructuras no calibradas que revelan agrupamiento pero carecen de expectativas calibradas para los niveles de similitud derivados de bases compartidas, datos superpuestos o mera convergencia de capacidades. Existe la necesidad de un método que pueda inferir el linaje y la historia de entrenamiento de un modelo sin requerir acceso a sus pesos, aplicable incluso cuando los modelos no comparten ningún parámetro.

Metodología
Los autores introducen TokenPrint, una huella digital libre de entrenamiento basada en las proyecciones del vocabulario top-k de los estados ocultos tardíos provocados por un conjunto fijo de 250 sondas de conocimiento.

Extracción de la Huella Digital: Para un modelo de lenguaje causal con $L$ capas, el método utiliza 250 prompts fijos (sondas) sin plantillas de chat (chat templates). Registra el estado oculto $h_\ell(p)$ en profundidades específicas ( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ) y los proyecta a través de la matriz de unembedding $W_U$ para obtener los logits. Los 100 tokens superiores se decodifican en cadenas de texto, se filtran para eliminar tokens de error (glitch tokens) —basándose en las normas de unembedding— y se les elimina el espacio en blanco. La huella digital es el mapeo de cada sonda a su lista clasificada de cadenas de tokens decodificadas.
Métrica de Similitud: La similitud entre dos modelos $a$ y $b$ en la profundidad $\ell$ se define como la media de la superposición de Jaccard de sus conjuntos de cadenas decodificadas top-k a través de todas las sondas:
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
Las profundidades internas se emparejan mediante posición fraccional para acomodar modelos de diferentes tamaños.
Calibración y Estimación del Nulo: Para dar cuenta de las estructuras léxicas compartidas y los efectos del tokenizador independientes del contenido de la sonda, los autores estiman un "nulo de sonda desajustada" ( $\tilde{S}$ ) específico de cada par. Este se calcula emparejando la respuesta del modelo $a$ a la sonda $i$ con la respuesta del modelo $b$ a una sonda diferente $j \neq i$ . La métrica final es la similitud excedente ( $S - \tilde{S}$ ), que aísla la señal vinculada al contenido de la sonda.
Grupo de Evaluación: El método se evalúa en un grupo de calibración de 32 modelos de pesos abiertos (0.6B–32B de parámetros) de nueve familias de desarrolladores, incluyendo relaciones documentadas como los modelos Pythia (datos idénticos, sin pesos compartidos), las destilaciones de DeepSeek-R1 (bases de checkpoint compartidas) y generaciones sucesivas. Un "grupo testigo" externo incluye modelos entrenados en el mismo corpus (The Pile) por diferentes organizaciones con diferentes tokenizadores y arquitecturas.

Resultados Clave

Escalera de Similitud Calibrada: La similitud de la huella digital sigue ampliamente la relación documentada de los modelos.
- Datos Idénticos (Sin Pesos Compartidos): Los modelos Pythia entrenados en los mismos datos en el mismo orden muestran la mayor similitud excedente (0.35).
- Ajustes Finos de Base Compartida: Los modelos que heredan un checkpoint base muestran una alta similitud (0.33).
- Mismo Desarrollador/Linaje: Los modelos del mismo desarrollador o grupo de linaje muestran una similitud intermedia (0.25–0.28).
- Modelos No Relacionados: Los modelos sin relación documentada muestran la menor similitud (0.17).
  Este signo persiste a través de diferentes organizaciones, familias de tokenizadores (p. ej., Cerebras-GPT vs. Pythia) y clases de arquitectura (p. ej., RWKV vs. Transformers).
Emergencia Temprana: La señal de similitud emerge dentro del primer 1% del entrenamiento (p. ej., en el paso 1000 para los modelos Pythia), mucho antes de que se logre una competencia fáctica medible (precisión de la sonda). Esto sugiere que la señal proviene de distribuciones de datos de entrenamiento compartidas en lugar de solo la convergencia de capacidades de tareas.
Recuperación de Linaje: Como método de recuperación de el vecino más cercano, TokenPrint logra clasificar con éxito el checkpoint base documentado dentro de los dos mejores candidatos para todas las cinco destilaciones de DeepSeek-R1 (Rango Medio, MRR 0.60). Notablemente, identifica bases especializadas (p. ej., una base especializada en matemáticas) que los metadatos gruesos (linaje del tokenizador y conteo de parámetros) no logran distinguir. Sin embargo, el método a menudo identifica un "vecindario de linaje" en lugar de un padre único, ya que las alternativas estrechamente relacionadas (p. ej., variantes Instruct de la misma base) suelen obtener rangos altos.
Profundidad y Robustez:
- Profundidad: La fuerza de discriminación aumenta hacia la distribución de salida, con un AUC que sube de 0.72 en un cuarto de profundidad a 0.90 en la salida final. Usando solo los 5 tokens de salida superiores, se mantiene un AUC de 0.87.
- Cuantización: La huella digital permanece estable bajo cuantización, mostrando una similitud de Jaccard de 0.92 bajo int8 y 0.82–0.85 bajo int4 en comparación con la línea base de bf16.
- Control de Capacidad: El análisis de regresión confirma que la estructura de grupo de linaje persiste incluso tras controlar las brechas de capacidad y la escala de parámetros.

Significancia y Reivindicaciones
El artículo posiciona a TokenPrint como una herramienta práctica para la recuperación de linaje y el análisis de procedencia de modelos que opera sin acceso a los pesos. Su principal significancia radica en:

Operación Libre de Entrenamiento: Requiere solo pasadas hacia adelante (forward passes), lo que lo hace aplicable a modelos de caja negra o de acceso restringido donde los métodos de espacio de pesos fallan.
Interpretación Calibrada: Al establecer una "escalera de similitud" frente a relaciones documentadas, el método va más allá del agrupamiento no calibrado para proporcionar rangos de referencia sobre qué niveles de similitud implican tipos específicos de relaciones (p. ej., datos compartidos vs. base compartida).
Señal Basada en Datos: La persistencia de la señal a través de organizaciones e arquitecturas independientes, y su emergencia antes de la convergencia de capacidades, sugiere que las huellas digitales en el espacio de tokens capturan artefactos estructurales persistentes de las distribuciones de datos de entrenamiento.

Limitaciones y Alcance
Los autores declaran explícitamente que el método no identifica el mecanismo de una relación (p. ej., distinguir la herencia de pesos de los corpora superpuestos) basándose únicamente en una puntuación de par a par. En su lugar, proporciona una estructura de similitud global para reducir los conjuntos de candidatos y generar hipótesis para un análisis posterior más dirigido. El método es más adecuado para identificar qué relaciones de modelos ameritan una investigación más profunda en lugar de servir como prueba legal autónoma de un historial de entrenamiento específico. Los autores también señalan que las comparaciones de distintos tokenizadores pueden subestimar la similitud debido a la diferente segmentación de cadenas semánticamente equivalentes.

Más como este