💬 NLP

FNF: Functional Network Fingerprint for Large Language Models

Este artículo propone la Huella Digital de la Red Funcional (FNF, por sus siglas en inglés), un método que no requiere entrenamiento y es eficiente en muestras para detectar derivaciones no autorizadas de modelos de lenguaje extensos mediante el análisis de la consistencia de su actividad de red funcional, ofreciendo una solución robusta para la protección de la propiedad intelectual a través de diversas arquitecturas y modificaciones.

Autores originales: Yiheng Liu, Junhao Ning, Sichen Xia, Haiyang Sun, Yang Yang, Hanyang Chi, Xiaohui Gao, Ning Qiang, Bao Ge, Junwei Han, Xintao Hu

Publicado 2026-02-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yiheng Liu, Junhao Ning, Sichen Xia, Haiyang Sun, Yang Yang, Hanyang Chi, Xiaohui Gao, Ning Qiang, Bao Ge, Junwei Han, Xintao Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que construir un modelo de lenguaje extenso y potente (como los que escriben ensayos o código) es como hornear un pastel de una receta familiar secreta e increíblemente costosa. Toma años de tiempo y millones de dólares perfeccionarlo.

¿El problema? Algunas personas están robando estas "recetas" (los pesos internos del modelo), haciendo pequeños ajustes al glaseado y afirmando que hornearon el pastel desde cero. Incluso podrían cambiar el tamaño del molde o añadir capas extra, pero la masa central es robada.

Este artículo presenta una nueva herramienta de detective llamada FNF (Functional Network Fingerprint - Huella Digital de Red Funcional) para atrapar a estos ladrones. Así es como funciona, explicado de forma sencilla:

1. La analogía del cerebro: "La reunión del equipo"

Piensa en una red neuronal (la IA) no como una lista estática de números, sino como una ciudad bulliciosa de neuronas.

La forma antigua: Los métodos tradicionales intentaban atrapar a los ladrones mirando los "planos" (los pesos) o plantando una "marca de agua" oculta (como un código secreto) en el pastel. Pero si el ladrón cambia el plano o borra la marca de agua, se sale con la suya.
La nueva forma (FNF): En lugar de mirar el plano estático, el FNF observa cómo trabajan las neuronas en conjunto cuando la IA está pensando.
- Imagina un equipo de deportes. Incluso si cambias los uniformes de los jugadores o el tamaño del campo, la forma en que ese mismo equipo coordina sus pases y carreras sigue siendo única para ese grupo específico.
- En la IA, cuando le haces una pregunta, ciertos grupos de neuronas se "reúnen" y se activan juntos en un patrón específico. Esto se llama una Red Funcional.

2. El descubrimiento central: "El parecido familiar"

Los investigadores descubrieron que los modelos construidos a partir de la misma "familia" (incluso si uno es una versión pequeña y el otro es una versión gigante, o si a uno se le han añadido capas extra) comparten un baile muy específico.

Cuando les das la misma entrada, sus neuronas se muecen en sincronía.
Cuando le das a dos modelos no relacionados la misma entrada, sus neuronas bailan ritmos completamente diferentes.

Es como mirar la caligrafía de dos personas. Incluso si una escribe con un marcador grueso y la otra con un bolígrafo diminuto, si son la misma persona, el flujo y el ritmo de las letras se verán iguales. Si son personas diferentes, el ritmo es totalmente distinto.

3. Cómo funciona la herramienta de detective

El método FNF es como una cámara de captura de movimiento de alta tecnología para el cerebro de la IA:

Hacer una pregunta: La herramienta introduce el mismo conjunto de preguntas tanto al modelo "Sospechoso" como al modelo "Víctima" (el original).
Observar el baile: Registra qué neuronas se iluminan y cómo se mueven juntas.
Comparar el ritmo: Utiliza un truco matemático (llamado ICA, tomado de la ciencia cerebral) para agrupar estos movimientos en "redes funcionales".
El veredicto: Si los "patrones de baile" del Sospechoso coinciden con los de la Víctima, la herramienta dice: "¡Robaste esta receta!". Incluso si el Sospechoso cambió el tamaño del modelo o desordenó sus partes internas, el ritmo subyacente sigue siendo el mismo.

4. Por qué es importante

El artículo afirma que esta herramienta es especial porque es imbatible ante trucos comunes:

El truco de "reordenar": Los ladrones suelen reorganizar las partes internas del modelo para ocultar sus huellas. Al FNF no le importa el orden; le importa cómo las partes trabajan juntas.
El truco de "recortar": Los ladrones podrían recortar la mitad del modelo para hacerlo más pequeño. El FNF aún puede ver las partes restantes bailando de la misma manera.
El truco de "expansión": Los ladrones podrían añadir nuevas capas para que el modelo parezca más grande y diferente. El FNF aún puede ver el "ritmo familiar" original por debajo.

Resumen

En resumen, FNF es una forma de probar la propiedad de un modelo de IA escuchando su "latido" interno en lugar de mirar sus partes estáticas. Es una forma no invasiva, rápida y fiable de determinar si un modelo es una creación original genuina o una copia "reempaquetada" del trabajo duro de otra persona, incluso si el ladrón intentó disfrazarlo con nuevas capas, diferentes tamaños o partes desordenadas.

Resumen Técnico: Huella Digital Funcional de Red (FNF) para Modelos de Lenguaje de Gran Escala

1. Planteamiento del Problema

El desarrollo de Modelos de Lenguaje de Gran Escala (LLM) implica costos financieros y temporales significativos, lo que crea un alto valor comercial e incentiva la apropiación no autorizada de modelos de código abierto. Surge un desafío crítico cuando los desarrolladores afirman haber entrenado modelos "originales" desde cero, mientras que en realidad están copiando pesos de modelos existentes y aplicando modificaciones superficiales, como un ajuste fino menor, ofuscación o expansión estructural (denominado "reempaquetado de pesos").

Los métodos de huellas digitales existentes enfrentan varias limitaciones:

Métodos Invasivos: Las técnicas como el marcaje de agua (watermarking) o los disparadores de puerta trasera (backdoor triggers) degradan el rendimiento del modelo y no pueden aplicarse a modelos ya lanzados.
Métodos No Invasivos: Los enfoques basados en el análisis de salida o la similitud de pesos suelen carecer de robustez. Específicamente, los métodos que dependen de la comparación directa de pesos fallan ante simples permutaciones de parámetros, mientras que aquellos basados en representaciones de características estáticas (por ejemplo, el Alineamiento de Núcleo Centrado o CKA) tienen dificultades para comparar modelos con diferentes arquitecturas, dimensiones ocultas o aquellos sometidos a expansión estructural (por ejemplo, añadir capas o expandir las dimensiones de las capas MLP).

Existe la necesidad de un método que no requiera entrenamiento, sea eficiente en muestras y sea robusto, capaz de detectar el linaje de los modelos a través de diversas arquitectas, escalas y técnicas de ofuscación sin comprometer la utilidad del modelo.

2. Metodología: Huella Digital Funcional de Red (FNF)

El método propuesto, Functional Network Fingerprint (FNF), está inspirado en las redes cerebrales funcionales (FBN) de la neurociencia. Opera bajo la premisa de que los LLM, como análogos computacionales de los sistemas neurales biológicos, exhiben patrones estables de conectividad funcional donde grupos de neuronas se co-activan consistentemente como redes integradas.

Concepto Central: Consistencia de Activación Funcional (FAC)

Los autores postulan que los modelos derivados del mismo linaje de entrenamiento (incluso con diferencias de arquitectura o escala) comparten un "plano neuroanatómico" común. En consecuencia, exhiben patrones altamente consistentes de actividad neuronal dentro de sus redes funcionales al procesar los mismos estímulos de entrada. Por el contrario, los modelos entrenados de forma independiente con datos distintos o con objetivos diferentes carecen de esta alineación.

Pipeline Técnico

Extracción de Señal: Para un conjunto de $N$ secuencias de entrada, se extraen las señales neuronales de la salida de bloques Transformer específicos tanto en el modelo víctima como en el modelo sospechoso.
Identificación de la Red Funcional (CanICA): El método emplea el Análisis de Componentes Independientes Canónicos (CanICA), una herramienta estándar en neurociencia, para identificar redes funcionales.
- Los datos de entrada se concatenan y se realiza un blanqueamiento mediante PCA para eliminar las correlaciones de segundo orden.
- Se aplica FastICA para recuperar componentes espaciales independientes (redes funcionales), representados como mapas espaciales $A \in \mathbb{R}^{D \times K}$ , donde $K$ es el número de redes funcionales objetivo.
Generación de la Serie Temporal: Para cada red funcional identificada (mapa espacial), se aplica una máscara binaria para seleccionar las neuronas más salientes. Se computa la actividad media de estas neuronas a través de la secuencia de entrada para generar series temporales funcionales de 1D.
Medición de Similitud: El método calcula la correlación de rango de Spearman entre las series temporales funcionales del modelo víctima y el modelo sospechoso.
- Se elige la correlación de Spearman sobre la de Pearson para centrarse en la consistencia de las tendencias de la actividad funcional (órdenes de rango) en lugar de los valores absolutos, lo que la hace robusta a las transformaciones monotónicas.
- Se calcula un puntaje de consistencia promedio a través de todas las muestras de entrada y pares de redes para producir una matriz de similitud.

3. Contribuciones Clave

Nuevo Paradigma de Huella Digital: FNF introduce un método no invasivo y que no requiere entrenamiento, que aprovecha la actividad funcional dinámica intrínseca de los LLM en lugar de pesos estáticos o señales incrustadas.
Robustez ante la Ofuscación: El método sigue siendo efectivo contra modificaciones comunes de modelos, incluyendo:
- Ajuste Fino (Fine-tuning): Incluso después de un ajuste fino extensivo en grandes conjuntos de datos.
- Poda (Pruning): Tanto la poda estructurada (profundidad/anchura) como la no estructurada.
- Permutación de Parámetros y Escalamiento: Reordenar pesos o transformaciones de escala que alteran las dimensiones de los parámetros pero preservan la lógica funcional.
- Reempaquetado de Pesos: Detectar el linaje en modelos donde la arquitectura ha sido expandida (por ejemplo, añadiendo capas, aumentando las dimensiones ocultas) mientras los pesos centrales son heredados.
Compatibilidad de Arquitectura Cruzada: A diferencia de otros métodos anteriores que requieren arquitecturas idénticas, FNF puede comparar modelos con diferentes dimensiones de capa oculta y configuraciones estructurales.
Interpretabilidad: Al descomponer las activaciones en redes funcionales, el método ofrece información sobre la organización funcional interna de los modelos.

4. Resultados Experimentales

Los autores evaluaron FNF utilizando el conjunto de datos WikiText-2 a través de varias familias de modelos (LLaMA, Qwen, ChatGLM, Mistral, etc.) y lo compararon con la línea base de vanguardia, REEF (que utiliza el Alineamiento de Núcleo Centrado o CKA).

Ajuste Fino: FNF mantuvo puntajes de correlación fuertes (por ejemplo, >0.9) entre los modelos pre-entrenados y sus variantes ajustadas (por ejemplo, LLaMA2-7B vs. LLaMA2-7B-chat), incluso tras entrenar con cientos de miles de millones de tokens.
Variantes de Datos de Entrenamiento: Los modelos con arquitecturas idénticas pero entrenados desde cero con datos distintos (por ejemplo, OpenLLaMA vs. LLaMA2) mostraron correlaciones débiles, indicando correctamente la ausencia de un linaje compartido.
Poda: FNF identificó con éxito orígenes comunes en modelos podados por hasta el 50% de sus parámetros. En contraste, REEF falló en detectar relaciones en modelos fuertemente podados (por ejemplo, la poda Wanda-sp).
Fusión de Modelos (Model Merging): FNF identificó eficazmente los modelos constituyentes de los LLM fusionados (por ejemplo, Evollm-jp-7b), aprovechando la suposición de mezcla lineal de ICA.
Reempaquetado de Pesos y Arquitectura Cruzada:
- FNF identificó correctamente que Mistral-11B (una versión expandida de Mistral-7B) y Solar-10.7B (derivado de Mistral-7B) compartían un origen común, mientras que REEF (CKA) no pudo hacerlo debido a desajustes arquitectónicos.
- En comparaciones de familias cruzadas (por ejemplo, Qwen vs. GLM), FNF produjo puntajes bajos, distinguiendo correctamente modelos no relacionados, mientras que CKA produjo puntajes de similitud espurios y altos.

5. Significado y Reivindicaciones

El artículo afirma que FNF proporciona una herramienta simple, no invasiva y efectiva para proteger la propiedad intelectual de los LLM. Su importancia radica en:

Abordar la Brecha del "Reempaquetado de Pesos": Es el primer método validado explícitamente contra ataques de expansión estructural donde los modelos son modificados para evadir la detección mientras retienen los pesos centrales.
Preservar la Utilidad: Como método de análisis post-hoc, no requiere reentrenamiento ni la incrustación de marcas de agua, preservando así el rendimiento original del modelo.
Escalabilidad y Eficiencia: El método requiere solo unas pocas muestras para la verificación y es computacionalmente eficiente.
Interpretabilidad: Conecta la neurociencia con la IA, ofreciendo un marco para comprender los LLM a través de la lente de las redes cerebrales funcionales, lo que potencialmente avanza la interpretabilidad de los modelos más allá de la mera huella digital.

Los autores concluyen que FNF permite a los propietarios de modelos y a terceros determinar de manera confiable si un modelo sospechoso es un derivado de un modelo víctima, incluso en presencia de diferencias significativas en la arquitectura y las dimensiones.