G-Loss: Graph-Guided Fine-Tuning of Language Models

1. Enunciado del Problema

El ajuste fino tradicional de modelos de lenguaje (LM) preentrenados como BERT y RoBERTa depende típicamente de la optimización local de pares mediante funciones de pérdida como Entropía Cruzada (CE), Pérdida Contrastiva o Pérdida de Tripletes. Estos métodos adolecen de dos limitaciones principales:

• Negligencia de la Estructura Global: Optimizan las relaciones entre muestras individuales o pequeños pares (por ejemplo, pares positivos/negativos), pero no logran capturar la estructura semántica global de toda la variedad de incrustaciones (embedding manifold). Garantizar que la muestra A esté cerca de B y lejos de C no asegura una posición global coherente de B y C a menos que se optimice explícitamente.
• Ineficiencia Computacional de los Métodos Basados en Grafos: Los enfoques existentes basados en grafos (por ejemplo, TextGCN, BertGCN) a menudo dependen de grafos estáticos del conjunto de datos completo construidos antes del entrenamiento. Esto requiere una sobrecarga significativa de memoria y evita que la estructura del grafo se adapte a medida que evolucionan las incrustaciones durante el ajuste fino.

2. Metodología: Marco G-Loss

Los autores proponen G-Loss, una estrategia de ajuste fino guiada por grafos que integra la Propagación de Etiquetas Semisupervisada (LPA) directamente en el bucle de entrenamiento. El marco opera sobre una base de mini-lotes dinámicos, permitiendo que la estructura del grafo y las incrustaciones co-evolucionen.

Componentes Principales:

1. Construcción de Grafo de Mini-lote Dinámico:

   • Para cada mini-lote de entrenamiento, los documentos se codifican en incrustaciones densas ($X_k$) por el LM.
   • Se construye un grafo ponderado totalmente conectado $G = (V, E, X)$ donde los pesos de las aristas ($w_{ij}$) representan la similitud semántica, calculada mediante un kernel gaussiano: $w_{ij} = \exp(-\|X_i - X_j\|^2 / 2\sigma^2)$.
   • El grafo se normaliza simétricamente para asegurar una propagación estable.

2. Propagación de Etiquetas Semisupervisada (LPA):

   • Dentro de cada lote, una fracción de etiquetas ($\gamma$) se enmascara (se trata como no etiquetada).
   • El algoritmo LPA propaga la información de las etiquetas desde los nodos etiquetados hacia los nodos no etiquetados basándose en la estructura del grafo.
   • Esto genera etiquetas inferidas ($\hat{Y}$) para los nodos enmascarados, aprovechando la suposición de variedad (la proximidad en el espacio de características implica similitud de etiquetas).

3. Función de Pérdida Compuesta:
   La función objetivo total combina la pérdida estándar de Entropía Cruzada ($L_{CE}$) con una pérdida basada en grafos ($L_G$) derivada de la discrepancia entre las etiquetas inferidas y las verdaderas:
   $$\mathcal{L} = \lambda L_G + (1 - \lambda) L_{CE}$$

   • $L_G$: Mide el error entre las etiquetas inferidas por LPA y la verdad fundamental para los nodos enmascarados.
   • $\lambda$: Un factor de ponderación que equilibra la precisión de la predicción local y la consistencia estructural global.

4. Co-evolución:
   Durante la retropropagación, el modelo actualiza tanto los parámetros del LM como el clasificador. A medida que las incrustaciones mejoran, la estructura del grafo se recalcula en la siguiente iteración, asegurando que el grafo permanezca consistente con el espacio de representación en evolución.

3. Contribuciones Clave

• Alineación Estructural Global: Desplaza el ajuste fino de la optimización local de pares a la alineación estructural global, imponiendo consistencia en toda la variedad de incrustaciones mediante propagación de grafos.
• Aprendizaje Dinámico e Inductivo: A diferencia de los métodos de grafos estáticos, G-Loss construye grafos dinámicamente en mini-lotes. Esto reduce los costos de memoria, soporta el aprendizaje inductivo (generalización a datos no vistos) y permite que el grafo se adapte a las representaciones mejoradas del modelo.
• Escalabilidad Libre de Parámetros: La integración de LPA es libre de parámetros (excepto hiperparámetros como $\sigma$ y $\gamma$), lo que hace que el enfoque sea escalable a diferentes tamaños de modelos y conjuntos de datos sin pipelines de reentrenamiento complejos.
• Marco Unificado: Elimina la necesidad de etapas separadas de etiquetado pseudo y reentrenamiento al integrar la propagación de etiquetas directamente en la función de pérdida.

4. Resultados Experimentales

Los autores evaluaron G-Loss en cinco conjuntos de datos de referencia (MR, R8, R52, Ohsumed, 20NG) y dos tareas GLUE (SST-2, QNLI) utilizando tres arquitecturas de modelos (BERT-base, RoBERTa-large, DistilBERT).

• Mejoras de Rendimiento:

  • G-Loss superó consistentemente a los baselines tradicionales (CE, SCL+CE, Triplete, Similitud Coseno) en Precisión y Puntuación F1 Macro.
  • Mejoras Notables: En el modelo RoBERTa-large, G-Loss logró nuevos resultados del estado del arte en MR (90.82%), R52 (96.65%) y Ohsumed (75.76%).
  • Calidad de las Incrustaciones: G-Loss produjo puntuaciones de Silueta significativamente más altas (indicando una mejor separabilidad de clústeres) en comparación con los baselines, particularmente en conjuntos de datos complejos como R8 y Ohsumed.

• Eficiencia:

  • Convergencia Más Rápida: G-Loss requirió menos épocas para converger (por ejemplo, 23 épocas en R8 frente a más de 200 para algunos baselines).
  • Baja Sobrecarga: A pesar de la construcción del grafo y LPA, el tiempo de entrenamiento por época fue comparable o más rápido que los baselines (por ejemplo, 27.77s vs. 33.04s para SCL en MR). Las operaciones del grafo añadieron un costo computacional insignificante (<0.25s por época).

• Estudios de Ablación:

  • Ratio de Ocultación de Etiquetas ($\gamma$): Se encontró un rendimiento óptimo al enmascarar el 30–50% de las etiquetas ($\gamma \approx 0.5-0.7$), equilibrando una propagación estable con señales de aprendizaje significativas.
  • Ancho del Kernel ($\sigma$): El método mostró robustez en un rango de valores de $\sigma$, aunque el ajuste específico del conjunto de datos produjo ganancias marginales.

5. Significado

• Puente entre Paradigmas: G-Loss conecta exitosamente la brecha entre los paradigmas basados en Transformers (atención local) y los basados en Grafos (relacional global), logrando los beneficios de rendimiento del razonamiento gráfico sin la pesada sobrecarga de memoria de los métodos de grafos completos estáticos.
• Escalabilidad: Al operar sobre mini-lotes, G-Loss es escalable a conjuntos de datos y modelos más grandes, abordando un cuello de botella clave en los enfoques híbridos anteriores de grafo-LM.
• Robustez: El método demuestra que incorporar restricciones estructurales globales durante el ajuste fino conduce a incrustaciones más discriminativas y robustas, mejorando la generalización tanto en tareas de clasificación binaria como multiclase con datos desequilibrados.

En conclusión, G-Loss ofrece una alternativa de alto rendimiento y eficiente en términos computacionales al ajuste fino tradicional, demostrando que las estructuras de grafos que evolucionan dinámicamente pueden mejorar significativamente el aprendizaje de representaciones semánticas de los grandes modelos de lenguaje.