Resumen Técnico: La Geometría de las Actualizaciones: Alineación de Fisher a Escala de Vocabulario

1. Planteamiento del Problema

El artículo aborda el desafío de la selección de fuentes libre de entrenamiento para familias de Modelos de Lenguaje de Gran Escala (LLM) que comparten un vocabulario pero difieren en sus objetivos de predicción (por ejemplo, adaptar un tokenizador compartido a SMILES, secuencias de proteínas o datos genómicos).

Las métricas actuales de transferibilidad enfrentan un dilema en este régimen de "activación oscura":

• Las métricas de similitud de representación (ej. CKA, RSA, SVCCA) computan la similitud basándose en activaciones congeladas. Los autores argumentan que estas son no identificables para la transferencia a nivel de cabezal (head-level) porque ignoran la geometría de los errores condicionados por la etiqueta. Los modelos pueden compartir representaciones idénticas pero tener direcciones de actualización ortogonales.
• Las métricas clásicas de geometría de actualización (ej. alineación de Fisher) capturan teóricamente la estructura de actualización necesaria, pero son computacionalmente prohibitivas a escala de vocabulario ($K \sim 10^5$). Almacenar la matriz de segundo momento del error ($\Gamma_e$) requiere aproximadamente 61 GiB por tarea, lo que hace que el cómputo exacto sea inviable para grandes conjuntos de candidatos.

La pregunta central es: ¿Cómo se puede estimar eficientemente la compatibilidad geométrica de las actualizaciones de parámetros (alineación de Fisher) a escala de vocabulario sin materializar matrices masivas ni depender de señales potencialmente engañosas basadas solo en activaciones?

2. Metodología

Fundamento Teórico

Los autores establecen que, para un cabezal lineal, el gradiente por ejemplo $g$ se factoriza exactamente en el producto de Kronecker de la activación de penúltima capa $a$ y el error en el espacio de logits $e$ (es decir, $g = a \otimes e$).

• No Identificabilidad de las Métricas de Representación: El artículo demuestra (Teorema 3.2) que las métricas de solo representación no pueden determinar la alineación de Fisher del cabezal. Construyen un "testigo" donde las tareas comparten representaciones idénticas ($Z_i = Z_j$) pero tienen conjuntos de etiquetas disjuntos, resultando en gradientes de cabezal ortogonales ($A_F(i, j) = 0$). Por lo tanto, $M(Z_i, Z_j)$ no puede distinguir entre tareas idénticas y tareas ortogonales.
• La Alineación de Fisher como un Producto-Kernel de Coseno: La contribución teórica central (Teorema 4.2) reescribe la alineación de Fisher del cabezal como la similitud de coseno entre incrustaciones de media de kernel en un espacio de características conjunto $(a, e)$.
  $$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$$
  donde $\mu_{ae, k}$ es la incrustación media del producto de kernel $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$.
  Esta descomposición revela que la transferibilidad depende de tres factores:
  1. Geometría de Activación: Similitud de los segundos momentos de activación ($M_a$).
  2. Geometría de Error: Similitud de los segundos momentos de error ($\Gamma_e$).
  3. Acoplamiento: Una razón de no separabilidad ($\rho$) que mide la desviación de la suposición de que las activaciones y los errores son independientes.

Algoritmo: FisherSketch

Para hacer esto tratable a escala de vocabulario, los autores introducen FisherSketch, un estimador de paso único y de flujo continuo (streaming).

• Características de Maclaurin Aleatorias: En lugar de computar la incrustación completa de $O(d^2 K^2)$, FisherSketch utiliza proyecciones aleatorias factorizadas (vectores de Rademacher) para estimar la expectativa del producto de kernel.
• Eficiencia: Explota la estructura de Kronecker para computar las proyecciones por separado para $a$ y $e$, reduciendo la complejidad por muestra de $O(mdK)$a$O(m(d+K))$.
• Transformada de Hadamard Aleatorizada Submuestreada (SRHT): Para el espacio de error de alta dimensión ($K \approx 128,256$), se utiliza SRHT para reducir el costo de proyección de $O(mK)$a$O(K \log K + m)$.
• Salida: El método produce una firma de tarea compacta de 16 KB (un vector en $\mathbb{R}^m$ con $m=4096$) por tarea, que codifica la geometría conjunta de activación-error. También mantiene un estado de flujo continuo de 192 KB para la estimación de muestras divididas para reducir el sesgo.

3. Contribuciones Clave

1. Prueba de No Identificabilidad: Demostración formal de que las métricas de similitud de representación (CKA, RSA, SVCCA) son insuficientes para predecir la transferencia a nivel de cabezal sin supuestos sobre la geometría del error o el mapeo de etiquetas.
2. Identidad de Descomposición Exacta: Prueba de que la alineación de Fisher del cabezal es exactamente un coseno de producto de kernel entre incrustaciones medias conjuntas, proporcionando una descomposición rigurosa de tres factores (activación, error, acoplamiento).
3. FisherSketch: Un estimador escalable y libre de entrenamiento que comprime la geometría de la tarea en una firma de 16 KB, permitiendo comparaciones a escala de vocabulario ($K=128,256$) con un estado de flujo continuo de 192 KB por tarea.
4. Instrumento de Diagnóstico: Las firmas permiten a los investigadores desentrañar si la similitud de la tarea es impulsada por las activaciones, los errores o su acoplamiento, sirviendo como una sonda para los regímenes de "activación oscura".

4. Resultados

Selección de Fuente a Escala de Vocabulario

Evaluado en Llama-3.1-8B a través de 100 dominios:

• Desempeño: FisherSketch logró una precisión de selección de fuente Top-1 del 45.7% (aproximadamente 10.9$\times$ la línea base aleatoria) con un arrepentimiento máximo de 0.119.
• Comparación: Fue competitivo con las líneas base de solo activación en cambios de dominio naturales, pero superó significativamente a estas en regímenes específicos.
• Eficiencia: Redujo los requisitos de almacenamiento de ~61 GiB por tarea (para $\Gamma_e$ exacto) a 16 KB.

Prueba de Estrés de Identificabilidad (Cambio de Verbalizador)

En un experimento controlado utilizando prompts de prefijo fijo donde las activaciones eran idénticas a través de diferentes verbalizadores (ej. "Sí/No" frente a "Verdadero/Falso"):

• Fallo de Solo Activación: La similitud de activación ($Scov(M_a)$) colapsó a una constante (desempeño de la línea base aleatoria del 20% Top-1).
• Éxito de FisherSketch: FisherSketch alcanzó un 66.7% Top-1, prediciendo con éxito las variaciones de transferencia impulsadas únicamente por cambios en la geometría del error condicionado por la etiqueta.
• Marginal de Solo Error: El marginal de solo error ($Scov(\Gamma_e)$) también funcionó bien (72.2% Top-1), confirmando que cuando la geometría de activación es constante, la geometría del error impulsa la señal.

Prueba de Concepto de Secuencias Científicas

En dominios de secuencias moleculares SMILES, FisherSketch se correlacionó significativamente con la reducción de la perplejidad de dominio cruzado ($\rho_s=0.53, p=0.006$), mientras que la similitud de solo activación no fue significativa ($p=0.081$).

Validación del Estimador

En ViT-B/16, FisherSketch mostró altas correlaciones de Spearman con la alineación de Fisher exacta para la similitud conjunta ($\hat{S}_{ae}$: 0.97) y el acoplamiento ($\hat{\rho}$: 0.95). El método logró una aceleración de 89$\times$ sobre el cómputo exacto con $n=2000$ muestras.

5. Significado y Reivindicaciones

El artículo afirma proporcionar un mecanismo práctico y libre de entrenamiento para la selección de fuentes en familias de LLM con vocabulario compartido donde las métricas tradicionales fallan debido a la naturaleza de "activación oscura" del problema.

• Impacto Operativo: Permite la selección automatizada de fuentes para el ajuste fino (fine-tuning), el aprendizaje continuo consciente de la interferencia y el enrutamiento en tiempo de inferencia basado en la compatibilidad predicha de la actualización de parámetros, en lugar de solo la similitud de representación.
• Perspectiva Teórica: Clarifica que la transferencia es fundamentalmente una geometría de actualizaciones (gradientes), no solo de representaciones. El artículo argumenta que, si bien las métricas de representación pueden ser informativas en regímenes favorables, son fundamentalmente limitadas sin un modelado explícito de la estructura del error.
• Escalabilidad: Al comprimir la compleja geometría de actualización en firmas pequeñas, el trabajo hace que el análisis de transferibilidad a escala de vocabulario sea factible, yendo más allá de las restricciones de las aproximaciones de etiquetas finitas (como LogME/LEEP) o los cálculos de Fisher exactos prohibitivos.

Los autores señalan explícitamente las limitaciones: el método asume una base de salida compartida (vocabulario o taxonomía alineada) y se centra en la alineación de Fisher a nivel de cabezal (o de parámetros compartidos). Para espacios de salida heterogéneos o comparaciones de red completa sin parámetros compartidos, se recomiendan enfoques diferentes o diagnósticos de capas internas.