Safe-Subspace Pseudo-Label Refinement for Source-Free Graph Domain Adaptation

Resumen Técnico: Refinamiento de Pseudo-etiquetas en Subespacios Seguros para la Adaptación de Dominios de Grafos sin Fuente

Definición del Problema
La Adaptación de Dominios de Grafos sin Fuente (SF-GDA, por sus siglas en inglés) aborda el desafío de adaptar una red neuronal de grafos entrenada en un dominio fuente etiquetado a un dominio objetivo no etiquetado, cuando los datos de la fuente son inaccesibles debido a restricciones de privacidad o almacenamiento. Un obstáculo central en este escenario es la fiabilidad de las pseudo-etiquetas generadas por una hipótesis de origen fija. Bajo cambios de dominio que afectan tanto a los atributos de los nodos como a la topología del grafo, las predicciones inducidas por la fuente pueden volverse "confiadamente erróneas". El autoentrenamiento indiscriminado basado en tales pseudo-etiquetas puede amplificar los errores sistemáticos a través del paso de mensajes en el grafo, lo que conduce a regímenes de ruido ilimitados donde el modelo diverge en lugar de adaptarse. Los métodos existentes suelen carecer de una justificación teórica sobre qué muestras del objetivo son seguras para usar como supervisión fuerte, dependiendo en su lugar de un filtrado de confianza global o de la alineación topológica sin caracterizar explícitamente la región de fiabilidad.

Metodología: S2PLR
Los autores proponen el Refinamiento de Pseudo-etiquetas en Subespacios Seguros (S2PLR), un marco fundamentado en una perspectiva de riesgo selectivo. En lugar de asumir que el ruido de las pseudo-etiquetas está acotado globalmente, S2PLR identifica un "subespacio seguro de consistencia de confianza" donde el ruido puede controlarse y aplica supervisión fuerte solo a este subconjunto. El marco consta de cuatro módulos integrados:

1. Cuantificación de Incertidumbre Multi-Experto: Para estimar la fiabilidad semántica, S2PLR utiliza un comité de $K_e$ hipótesis de la fuente preentrenadas (expertos). Calcula una predicción de consenso de conjunto y una varianza predictiva. Las muestras se filtran en un "conjunto de candidatos semánticos" solo si exhiben un alto consenso (baja varianza) y alta confianza, mitigando el riesgo de errores sobreconfiados de un único modelo inestable.
2. Aprendizaje de Estructura Intrínseca del Objetivo: Para abordar los cambios estructurales, S2PLR aprende una variedad estructural específica del objetivo mediante una rama dedicada entrenada mediante aprendizaje contrastivo de grafos con datos no etiquetados del objetivo. Esto crea un espacio métrico donde los vecindarios locales son significativos y compactos, independientes de los sesgos de la topología específica de la fuente.
3. Refinamiento de Pseudo-etiquetas Anidado de Doble Vista: Este módulo intersecta los candidatos semánticos con la evidencia estructural. Construye un grafo de $k$-vecinos más cercanos en el espacio de incrustación intrínseco del objetivo y calcula una puntuación de consistencia de confianza local. Una muestra entra en el "subespacio seguro" ($H_{\zeta,\rho}$) solo si supera tanto las comprobaciones de confianza/varianza semántica como la comprobación de consistencia de vecindad estructural.
4. Regularización Tolerante al Ruido: Para el "conjunto incierto" ($U$) restante, que contiene información de distribución valiosa pero carece de etiquetas verificadas, S2PLR evita el etiquetado duro de pseudo-etiquetas. En su lugar, aplica una regularización suave (minimización de entropía y divergencia KL contra el conjunto de expertos de la fuente) para controlar el riesgo residual sin propagar etiquetas duras erróneas.

Análisis Teórico
El artículo proporciona un análisis teórico que revisa el ruido de las pseudo-etiquetas en SF-GDA.

• Ruido Ilimitado: Los autores reconocen la teoría existente que muestra que, bajo cambios de dominio globales, los clasificadores de la fuente pueden ser sistemática y confiadamente erróneos en regiones no vacías del dominio objetivo, haciendo que el autoentrenamiento de todo el dominio sea inseguro.
• Garantía de Subespacio Seguro: Los autores derivan condiciones bajo las cuales el ruido de la pseudo-etiqueta está acotado. Definen un subespacio seguro $H_{\tau,\rho}$ donde las muestras satisfacen una alta confianza de la fuente ($\tau$) y una consistencia de vecindad local ($\rho$). Bajo un supuesto de "discrepancia de la posterior restringida" y suavidad de la variedad del objetivo, demuestran que el ruido de la pseudo-etiqueta en este subespacio está acotado y es aprendible.
• Descomposición del Riesgo: El riesgo del objetivo se descompone en tres componentes: el error de ajuste en el subespacio seguro, el ruido intrínseco del subespacio seguro y el riesgo en el conjunto incierto. Esta descomposición justifica teóricamente la estrategia de usar etiquetas duras solo en el subespacio seguro y regularización suave en otros lugares.

Resultados Experimentales
S2PLR fue evaluado en benchmarks de grafos derivados de imágenes (MNIST, CIFAR-10) y conjuntos de datos de grafos del mundo real (Mutagenicity, DD, PROTEINS, COX2, BZR, ogbg-molhiv) bajo cambios de densidad de nodos, densidad de aristas y dominio de características.

• Rendimiento: S2PLR alcanzó un rendimiento de vanguardia o competitivo en diversos escenarios de transferencia, superando a las líneas base de solo fuente, a los métodos generales de adaptación de dominio sin fuente y a los métodos existentes de SF-GDA específicos para grafos.
• Diagnósticos: El análisis post-hoc reveló un compromiso consistente entre precisión y cobertura. El subespacio seguro final logró una precisión de pseudo-etiquetas significativamente mayor que el conjunto inicial de candidatos semánticos, confirmando que la verificación estructural filtra eficazmente las muestras no fiables.
• Ablación: Eliminar cualquiera de los cuatro módulos (cuantificación multi-experto, filtrado de confianza, aprendizaje de estructura del objetivo o regularización suave) provocó una degradación del rendimiento, validando la necesidad del enfoque integrado.
• Visualizaciones: Las visualizaciones de t-SNE muestran que S2PLR produce representaciones del objetivo más compactas y bien separadas en comparación con las líneas base, que a menudo exhiben mezcla de clases.

Significancia y Reivindicaciones
El artículo afirma que S2PLR va más allá del refinamiento empírico de pseudo-etiquetas o la alineación de la topología al conectar el análisis de ruido acotado selectivo con la adaptación de grafos consciente de la estructura.

• Justificación Teórica: Proporciona la primera caracterización teórica de un "subespacio seguro" en SF-GDA donde el ruido de la pseudo-etiqueta está provadamente acotado, distinguiendo entre límites de ruido a nivel de población y certificados estructurales solo del objetivo.
• Fiabilidad sobre Cantidad: El marco prioriza la fiabilidad de la pseudo-etiqueta sobre la cantidad, seleccionando un subconjunto más pequeño pero altamente confiable para la supervisión dura, mientras aprovecha las muestras inciertas mediante la regularización tolerante al ruido.
• Robustez: Los resultados demuestran que las ganancias de rendimiento provienen del mecanismo de selección de subespacio seguro guiado por la fiabilidad, más que de simplemente aumentar el número de hipótesis de la fuente o la capacidad del modelo.

Los autores señalan una limitación: bajo cambios estructurales severos, la selección del subespacio seguro puede volverse excesivamente conservadora o exhibir sesgo de clase, lo que sugiere trabajos futuros sobre el control adaptativo de la cobertura y la estimación de la fiabilidad consciente de la clase.