Resumen Técnico: WARP – Análisis del Espacio de Pesos para la Recuperación de Portafolios de Datos de Entrenamiento

Planteamiento del Problema

Los modelos fundacionales se lanzan cada vez más al público, pero las "recetas de datos" específicas —particularmente los pesos de la mezcla de dominios que determinan cómo se muestrean diversas fuentes (por ejemplo, texto web, código, literatura científica) durante el entrenamiento— siguen siendo propietarias y opacas. Esto crea una asimetría de acceso significativa: los investigadores pueden estudiar los pesos del modelo resultante, pero carecen de visibilidad sobre la distribución de entrenamiento que lo produjo.

Los enfoques existentes para inferir datos de entrenamiento, como la Inferencia de Membrecía (MI), operan al nivel de muestras individuales para detectar si un punto de datos específico estuvo en el conjunto de entrenamiento. Sin embargo, la MI no puede caracterizar la composición global o las proporciones de los dominios del corpus de entrenamiento. Además, los métodos previos para recuperar trayectorias de entrenamiento suelen requerir acceso a checkpoints intermedios, que rara vez están disponibles para los modelos lanzados (donde típicamente solo son públicos el modelo base y los pesos finales del ajuste fino). El problema central abordado por este trabajo es el problema inverso: dado únicamente el modelo base lanzado ($\theta_{base}$), el modelo ajustado ($\theta_{ref}$) y un pequeño conjunto de datos de sondeo, ¿cómo se pueden recuperar las proporciones de la mezcla de dominios desconocidas ($\pi^*$) utilizadas para entrenar el modelo, sin tener acceso a la verdadera trayectoria de entrenamiento o a los checkpoints intermedios?

Metodología: El Marco de Trabajo WARP

Los autores proponen WARP (Weight-space Analysis for Recovering Training Data Portfolios), un marco que recupera las mezclas de dominios directamente de los pesos del modelo explotando la estructura geométrica del espacio de pesos. La metodología procede en tres etapas:

1. Simulación de la Trayectoria de Entrenamiento

Dado que el camino real de $\theta_{base}$ a $\theta_{ref}$ no es observable, WARP utiliza técnicas de fusión de modelos (model merging) para interpolar entre los dos extremos. Al aplicar operadores de fusión (como Interpolación Lineal/LERP, Interpolación Esférica/SLERP o TIES) con un esquema de coeficientes de mezcla $\alpha_t \in (0,1)$, el marco genera una secuencia de pseudo-checkpoints ($\tilde{\theta}_t$). Estos pseudo-checkpoints sirven como sustitutos de la evolución inobservable de los parámetros, reconstruyendo efectivamente una trayectoria de entrenamiento "simulada".

2. Destilación de Huellas Geométricas

A partir de estos pseudo-checkpoints, WARP extrae una señal a nivel de dominio utilizando una métrica adaptada del Mimic Score. Para cada pseudo-checkpoint $\tilde{\theta}_t$, el método define un vector de dirección $v_t = \theta_{ref} - \tilde{\theta}_t$ que apunta hacia el modelo objetivo.

• Alineación de Muestras: Para un pequeño conjunto de datos de sondeo $D_{probe}$ (muestreado de las mismas fuentes de dominio que los datos de entrenamiento), el método calcula el gradiente negativo de cada muestra en $\tilde{\theta}_t$.
• Proyección: El Mimic Score ($m_{i,t}$) se calcula como la proyección de este gradiente negativo sobre el vector unitario de $v_t$. Este puntaje mide qué tan fuertemente se alinea una muestra con la dirección que el modelo realmente tomó durante el ajuste fino.
• Agrupación (Pooling): Estos puntajes se normalizan y se promedian dentro de cada dominio $k$ en cada paso $t$, resultando en una matriz de características $M \in \mathbb{R}^{K \times T}$. Esta matriz representa la "huella geométrica" de los datos de entrenamiento, trazando qué tan fuertemente cada dominio se alinea con la dirección del ajuste fino a medida que el modelo evoluciona.

3. Mapeo de la Geometría a la Mezcla

El paso final traduce la huella geométrica $M$ en una mezcla de dominios predicha $\hat{\pi}$. Los autores proponen dos variantes:

• Lectura No Supervisada: Un enfoque sin parámetros que promedia los puntajes agrupados a través de los pasos de tiempo y aplica una función softmax para estimar la mezcla.
• Proyección Supervisada: Un proyector MLP entrenado con datos sintéticos. Los autores generan pares sintéticos ajustando modelos base sobre mezclas aleatorias para crear etiquetas de verdad fundamental (ground-truth), y luego entrenan el MLP para mapear la huella geométrica $M$ a la mezcla conocida $\pi$. Esto permite que el modelo aprenda cómo ponderar de manera adaptativa las diferentes etapas de la trayectoria simulada.

Contribuciones Clave

1. Cerrar la Asimetría de Acceso: WARP formaliza la recuperación de la mezcla de dominios de un modelo ajustado utilizando únicamente los artefactos disponibles para la mayoría de los modelos lanzados (pesos base y finales), evitando la necesidad de datos propietarios o checkpoints intermedios.
2. Trayectorias de Entrenamiento Simuladas: El marco introduce un uso novedoso de la fusión de modelos, no para la fusión de capacidades, sino para simular caminos de entrenamiento no observados para exponer una estructura geométrica utilizable en el espacio de pesos.
3. Fuerte Desempeño Empírico: En experimentos controlados, WARP supera a las líneas base de inferencia de membresía a nivel de muestra e incluso a una variante "oráculo" que tiene acceso a los verdaderos checkpoints intermedios de entrenamiento.
4. Robustez: El método mantiene su precisión en diferentes regímenes de entrenamiento, incluyendo checkpoints con parada temprana (early-stopped), convergidos y sobreentrenados (overtrained).

Resultados Experimentales

El marco fue evaluado en modelos BERT y GPT-2 ajustados finamente sobre cuatro conjuntos de datos de texto (SNLI, AGNews, Yelp, Yahoo) con mezclas de verdad fundamental conocidas.

• Precisión: WARP logró un Error Absoluto Medio (MAE) de tan solo 0.046 en BERT y 0.104 en GPT-2 (usando la variante de MLP supervisado con fusión TIES).
• Comparación: Estos resultados superaron significativamente a:
  • Las líneas base de Adivinación Aleatoria (Random Guess) y Adivinación de Centroide (Centroid Guess).
  • La Inferencia de Membrecía a nivel de muestra (MI), que produjo errores más altos (por ejemplo, 0.063 MAE en BERT frente a 0.046 para WARP).
  • Variantes Oráculo: Sorprendentemente, WARP usando trayectorias simuladas (LERP/TIES) a menudo superó a la variante que utiliza checkpoints reales intermedios. Los autores atribuyen esto a la "brecha de suavidad" (smoothness gap): las trayectorias de entrenamiento reales contienen ruido (mini-lotes estocásticos, calentamiento de la tasa de aprendizaje), mientras que las trayectorias interpoladas proporcionan un camino más limpio y monótono que facilita la decodificación de la huella geométrica.
• No Supervisado vs. Supervisado: La lectura de softmax no supervisada, libre de parámetros, fue competitiva, superando a todas las líneas base y cerrando la mayor parte de la brecha con la variante supervisada, demostrando que la señal geométrica es fuerte incluso sin proyectores aprendidos.

Significado y Reivindicaciones

El artículo afirma que WARP demuestra la viabilidad de la ingeniería inversa de la distribución de entrenamiento de un modelo basándose únicamente en la geometría de su espacio de pesos. Al mostrar que el "camino" entre un modelo base y uno ajustado codifica una huella de distribución de los datos de entrenamiento, el trabajo ofrece una nueva herramienta para:

• Auditoría: Detectar la contaminación de datos o verificar la procedencia del entrenamiento de un modelo.
• Interpretabilidad: Comprender por qué los modelos exhiben comportamientos específicos basados en sus mezclas de entrenamiento.
• Transparencia: Abordar la opacidad en el desarrollo de modelos de frontera donde los pesos se comparten pero las recetas de datos no.

Los autores enfatizan que este enfoque rompe el paradigma tradicional de solo hacia adelante (forward-only) de la optimización de la mezcla de dominios, proporcionando un método práctico para inferir los "ingredientes" de un modelo cuando solo se dispone del "plato final" (pesos).