Resumen Técnico: ProToken – Atribución a Nivel de Token para Modelos de Lenguaje Extensos Federados

1. Planteamiento del Problema

El Aprendizaje Federado (FL, por sus siglas en inglés) permite el entrenamiento colaborativo de Modelos de Lenguaje Extensos (LLMs) a través de fuentes de datos distribuidas y privadas sin centralizar los datos brutos. Si bien esto preserva la privacidad, crea un escenario de "caja negra" respecto a la procedencia del modelo. Cuando un LLM federado global genera una respuesta específica, no está claro qué cliente(s) contribuyeron a ese resultado. Esta falta de atribución obstaculiza aplicaciones críticas del sistema, incluyendo:

• Depuración (Debugging): Identificar qué cliente introdujo comportos problemáticos o datos contaminados.
• Verificación de Confianza: Validar que el modelo global refleja las contribuciones previstas.
• Asignación Justa de Recompensas: Asignar incentivos basados en la contribución real.
• Identificación de Clientes Maliciosos: Detectar participantes que inyectan puertas traseras (backdoors) o patrones adversarios.

Las técnicas de interpretabilidad existentes para modelos centralizados (por ejemplo, integración de gradientes, análisis de perturbación) son inaplicables porque asumen el acceso a los datos de entrenamiento brutos y arquitecturas de un solo modelo. Además, los métodos estándar de depuración de FL están diseñados para tareas de clasificación con salidas discretas, fallando al abordar la naturaleza de longitud variable y autorregresiva de la generación de LLMs. Un desafío central es distinguir si un token generado proviene de los datos de entrenamiento federados de un cliente específico o del conocimiento preexistente del pre-entrenamiento del modelo.

2. Metodología: ProToken

ProToken es una metodología de procedencia diseñada para atribuir la generación a nivel de token en LLMs federados a clientes específicos, adhiriéndose estrictamente a las restricciones de privacidad de FL (es decir, operando únicamente sobre actualizaciones del modelo, activaciones y gradientes, no sobre datos brutos).

Percepciones Clave

ProToken aprovecha tres percepciones estructurales clave para hacer que la atribución sea tratable y precisa:

1. Agregación Lineal: Las estrategias de agregación de FL (por ejemplo, FedAvg, FedProx) son lineales a nivel de parámetros. Esto permite que la computación de propagación hacia adelante (forward computation) del modelo global se descomponga matemáticamente en una suma ponderada de computaciones por capa de cada cliente.
2. Especialización de Capas: Las arquitecturas Transformer concentran las señales específicas de la tarea en los bloques posteriores (específicamente en las proyecciones de salida de la auto-atención y las capas finales de alimentación hacia adelante o feed-forward). Las capas iniciales capturan características lingüísticas genéricas, mientras que las capas posteriores codifican el conocimiento específico que influye en la salida final.
3. Relevancia Basada en Gradientes: No todas las neuronas son relevantes para generar un token específico. El pesaje basado en gradientes filtra las activaciones neuronales irrelevantes, enfocando la atribución solo en las neuronas que influyen directamente en la predicción del token.

Flujo de Trabajo Técnico

El proceso de atribución opera durante la generación autorregresiva de una respuesta:

1. Selección de Capas: En lugar de rastrear todos los parámetros (lo cual es computacionalmente prohibitivo), ProToken restringe el análisis a un subconjunto estratégico de capas: la capa de Proyección de Salida del mecanismo de auto-atención y la última capa del MLP dentro de los últimos $N$ bloques del Transformer.
2. Atribución por Token: Para cada token generado $x_j$, el sistema calcula un puntaje de procedencia para cada cliente $i$.
   • El modelo global procesa la entrada para generar estados ocultos ($h^\ell_G$) y gradientes ($g^\ell_{x_j}$) para las capas seleccionadas.
   • Para cada cliente $i$, el sistema simula cuál sería la salida de la capa ($h^\ell_i$) si se usaran los pesos específicos del cliente, manteniendo la entrada de la propagación hacia adelante global.
   • El puntaje de contribución del cliente para el token se calcula como el producto escalar de la activación hipotética del cliente y el gradiente global:
     $$P^\ell_{i, x_j} = \langle h^\ell_i, g^\ell_{x_j} \rangle$$
   • Este puntaje se suma a través de las capas seleccionadas para obtener un puntaje por token, y luego se acumula a través de toda la secuencia generada para producir un puntaje de atribución final a nivel de secuencia.
3. Normalización: Los puntajes se normalizan mediante softmax para producir una distribución de probabilidad sobre los clientes, identificando la fuente más probable.

3. Marco de Evaluación

Para abordar la falta de verdad de referencia (ground truth) en la procedencia de LLMs (distinguiendo entre el conocimiento pre-entrenado y las contribuciones federadas), los autores construyeron un marco de evaluación verificable utilizando la inyección de puertas traseras (backdoor injection):

• Generación de Verdad de Referencia: Se inyectaron pares de disparador-respuesta distintos (por ejemplo, una frase de activación específica que conduce a una respuesta de rechazo "centinela" fija) en los datos de entrenamiento locales de los clientes designados como "maliciosos".
• Métrica de Evaluación: La precisión de la atribución se mide por la capacidad del sistema para identificar correctamente a los clientes que portan el disparador cuando se genera la respuesta centinela. Esto proporciona una verdad de referencia inequívoca de que el comportamiento del modelo se originó de las contribuciones de clientes específicos.

4. Resultados Experimentales

Los autores evaluaron ProToken a través de 16 configuraciones que involucran cuatro arquitecturas de LLM (Gemma, SmolLM, Llama, Qwen) y cuatro dominios (médico, financiero, matemático, programación).

• Precisión de Atribución: ProToken logró una precisión de atribución promedio del 98.62% en todas las configuraciones. Identificó con éxito a los clientes responsables con alta confianza, mostrando una clara separación binaria entre los clientes contribuyentes y los no contribuyentes.
• Escalabilidad: En una prueba de escalabilidad que aumentó el número de clientes de 6 a 55 (un incremento de 9.2×), ProToken mantuvo una alta precisión (>92%), demostrando robustez en despliegues federados a gran escala.
• Impacto del Pesaje de Gradientes: Un estudio de ablación mostró que el pesaje de relevancia basado en gradientes es crítico. Deshabilitar el pesaje de gradientes redujo la precisión promedio del 66.34% al 35.71%, confirmando que filtrar las neuronas irrelevantes es esencial para una atribución confiable.
• Tractabilidad Computacional: Al monitorear solo un subconjunto de los últimos bloques del Transformer, ProToken redujo significativamente la sobrecarga computacional en comparación con el rastreo de todos los parámetros. Para una respuesta de 100 tokens, el método se mantuvo eficiente (por ejemplo, ~1.1s a 1.8s dependiendo de la profundidad de la capa), haciendo que la atribución en tiempo real sea factible.

5. Significancia y Reivindicaciones

El artículo presenta a ProToken como el primer método de atribución de procedencia a nivel de token específicamente para LLMs federados. Su significancia radica en:

• Resolver la Brecha de Atribución: Aborda el desafío fundamental de rastrear salidas en modelos generativos federados donde los datos nunca se centralizan.
• Preservación de la Privacidad: Opera enteramente sobre actualizaciones del modelo y gradientes, manteniendo las garantías de privacidad de FL.
• Viabilidad Práctica: El método es computacionalmente tratable y escalable, validado a través de diversos arquitecturas y dominios.
• Habilitar la Confianza: Proporciona las herramientas necesarias para la depuración, la identificación de participantes maliciosos y la garantía de una asignación justa de recompensas en el entrenamiento colaborativo de LLMs, sentando así las bases para sistemas de LLM federados interpretables y responsables.

Los autores enfatizan que, si bien se utilizó la inyección de puertas traseras para crear la verdad de referencia para la evaluación, el método en sí está diseñado para la atribución general y no es una estrategia de ataque o defensa. Los resultados validan a ProToken como un paso fundacional hacia el despliegue de LLMs federados confiables.