Expected Gain-based Escalation in Vertical Federated Learning

Resumen Técnico: Escalamiento Basado en la Ganancia Esperada en el Aprendizaje Federado Vertical

Planteamiento del Problema
En el Aprendizaje Federado Vertical (VFL, por sus siglas en inglés), múltiples clientes poseen diferentes perspectivas de la misma muestra, y un servidor agrega esta información para mejorar el rendimiento predictivo. Si bien la inferencia colaborativa (la fusión de representaciones intermedias de todos los clientes) generalmente produce una mayor precisión que la inferencia local, incurre en una sobrecarga significativa de comunicación y computación. El desafío central abordado en este trabajo es determinar cuándo invocar esta costosa ruta colaborativa. Aplicar la fusión a cada muestra es ineficiente, ya que muchas entradas se resuelven fácilmente mediante predicciones locales ligeras. El objetivo es desarrollar una política de enrutamiento por muestra que decida si la mejora esperada en la corrección justifica el costo de comunicación adicional, específicamente dentro de un protocolo de inferencia de dos rondas.

Metodología
Los autores proponen una regla de enrutamiento analítica basada en la estimación de la ganancia esperada, evitando la necesidad de una red de enrutamiento entrenada por separado. El sistema opera en dos rondas:

1. Ronda 1 (Local): Los clientes transmiten posteriores locales de baja dimensión al servidor. El servidor forma una predicción agrupada mediante el promedio de los valores (average pooling).
2. Ronda 2 (Colaborativa): Si una muestra es escalada, los clientes transmiten embeddings de alta dimensión, que son fusionados por un modelo VFL del servidor más robusto.

La decisión de enrutamiento se modela como una política basada en umbrales: escalar si la ganancia esperada $E[G | \bar{p}]$ supera un umbral $\tau$, donde $G$ es la diferencia en la corrección entre las predicciones de la Ronda 2 y la Ronda 1.

Para calcular este puntaje de forma analítica sin entrenar un enrutador, los autores derivan una aproximación de inserción (plug-in) utilizando dos componentes estimados a partir de datos de calibración mantenidos fuera del conjunto de entrenamiento (held-out):

1. Posterior Agrupado Calibrado: El posterior agrupado bruto de la Ronda 1 suele estar descalibrado. Los autores aplican un mapa de calibración de Dirichlet multiclase para estimar la posterior de clase condicional $P(y=k | \bar{p})$.
2. Fiabilidad por Clase: Los autores aproximan la corrección condicional del modelo de la Ronda 2, $P(\hat{y}_{VFL}=k | y=k, \bar{p})$, utilizando un coeficiente de fiabilidad a nivel de clase (la entrada diagonal de la matriz de confusión de la Ronda 2, $CVFL[k,k]$). Esto asume que, una vez fijada la clase verdadera, el rendimiento del modelo de la Ronda 2 es relativamente estable independientemente del posterior de la Ronda 1.

El puntaje de enrutamiento final $\hat{s}(\bar{p})$ se calcula como:
$$\hat{s}(\bar{p}) = \sum_{k=0}^{K-1} \hat{m}_{\hat{\phi}}(\bar{p})[k] \cdot (CVFL[k,k] - \mathbb{1}[\hat{y}_{loc} = k])$$
donde $\hat{m}_{\hat{\phi}}$ es el posterior calibrado y $\hat{y}_{loc}$ es la predicción de la Ronda 1. Una muestra se escala si este puntaje es positivo (o supera un umbral controlado por presupuesto).

Contribuciones Clave

1. Escalamiento Selectivo en Tiempo de Inferencia: Este trabajo formaliza el problema de invocar selectivamente una costosa ruta de VFL colaborativo en un protocolo de dos rondas, equilibrando la precisión frente a los presupuestos de comunicación.
2. Regla de Enrutamiento Analítica: Los autores proponen un método que estima la ganancia esperada del escalamiento utilizando únicamente el posterior agrupado de la Ronda 1 y estadísticas de fiabilidad por clase. Este enfoque no requiere el entrenamiento de un enrutador dedicado, lo que lo hace interpretable y ligero.
3. Validación Empírica: El método se valida en bancos de pruebas de clasificación multivista (CIFAR-10, CIFAR-100, ModelNet40), incluyendo escenarios con degradación controlada de la vista en el tiempo de prueba (ruido gaussiano).

Resultados
Los experimentos demuestran que el enrutador analítico propuesto logra un compromiso entre precisión y escalamiento superior al de varias líneas base:

• vs. Basado en Confianza: El método propuesto supera a los simples umbrales de confianza, lo que indica que la confianza por sí sola es insuficiente para predecir el beneficio del escalamiento.
• vs. Ganancia Aprendida (DIFF-01): El enfoque analítico supera consistentemente a un enrutador aprendido entrenado para regredir la ganancia realizada, lo que sugiere que la aproximación analítica captura eficazmente la señal esencial de enrutamiento.
• vs. Aprendizaje para Diferir (L2D): Con presupuestos de escalamiento equivalentes, el enrutador propuesto logra una mayor precisión y una mejor precisión de escalamiento (EP), capturando una fracción mayor de escalamientos beneficiosos mientras evita los neutros.
• vs. Oráculo: Aunque el método propuesto no alcanza el límite teórico de un oráculo (que conoce la ganancia real), reduce significamente la brecha, particularmente en regímenes de escalamiento moderados (40–60%).

Los resultados también resaltan que una gran parte de las muestras de prueba son "neutras" respecto al escalamiento (es decir, la Ronda 1 y la Ronda 2 producen la misma corrección). El enrutador propuesto filtra eficazmente estos casos, mientras que las líneas base agresivas suelen sobre-escalar, incurriendo en costos de comunicación sin ganancias de precisión.

Significancia y Reivindicaciones
El artículo sostiene que tratar el escalamiento como una decisión de ganancia esperada permite un mecanismo de enrutamiento práctico, interpretable y eficiente en VFL. Al depender de datos de calibración en lugar de complejos enrutadores aprendidos, el método ofrece una vía de implementación directa. Los autores enfatizan que su enfoque mejora el compromiso comunicación-precisión sobre las líneas base existentes basadas en confianza, ganancia aprendida y deferencia.

El trabajo reconoce limitaciones, específicamente que la aproximación de fiabilidad por clase ignora la variación intra-clase en el comportamiento del modelo de la Ronda 2 y que el rendimiento depende de la representatividad del conjunto de calibración. Sin embargo, los autores afirman que el método sigue siendo robusto incluso bajo cambios de distribución (simulados por degradación de la vista), siempre que los datos de calibración sean razonablemente representativos. El estudio concluye que el escalamiento selectivo es una estrategia viable para reducir los costos de inferencia en VFL sin sacrificar el rendimiento predictivo.