G-Loss: Graph-Guided Fine-Tuning of Language Models

1. Declaração do Problema

O ajuste fino tradicional de modelos de linguagem (LMs) pré-treinados, como BERT e RoBERTa, geralmente depende de otimização local por pares usando funções de perda como Entropia Cruzada (CE), Perda de Contraste ou Perda de Tripletos. Esses métodos sofrem com duas limitações primárias:

• Negligência da Estrutura Global: Eles otimizam relações entre amostras individuais ou pequenos pares (por exemplo, pares positivos/negativos), mas falham em capturar a estrutura semântica global de toda a variedade de embeddings. Garantir que a amostra A esteja próxima de B e distante de C não garante um posicionamento global coerente de B e C, a menos que seja explicitamente otimizado.
• Ineficiência Computacional de Métodos Baseados em Grafos: Abordagens existentes baseadas em grafos (por exemplo, TextGCN, BertGCN) frequentemente dependem de grafos estáticos de conjunto de dados completo construídos antes do treinamento. Isso exige uma sobrecarga significativa de memória e impede que a estrutura do grafo se adapte à medida que os embeddings evoluem durante o ajuste fino.

2. Metodologia: Framework G-Loss

Os autores propõem o G-Loss, uma estratégia de ajuste fino guiada por grafos que integra Propagação de Rótulos Semi-Supervisionada (LPA) diretamente no loop de treinamento. O framework opera em uma base de mini-lotes dinâmicos, permitindo que a estrutura do grafo e os embeddings co-evoluam.

Componentes Principais:

1. Construção de Grafo de Mini-Lote Dinâmico:

   • Para cada mini-lote de treinamento, documentos são codificados em embeddings densos ($X_k$) pelo LM.
   • Um grafo ponderado totalmente conectado $G = (V, E, X)$ é construído, onde os pesos das arestas ($w_{ij}$) representam similaridade semântica, calculada via um kernel Gaussiano: $w_{ij} = \exp(-\|X_i - X_j\|^2 / 2\sigma^2)$.
   • O grafo é normalizado simetricamente para garantir propagação estável.

2. Propagação de Rótulos Semi-Supervisionada (LPA):

   • Dentro de cada lote, uma fração de rótulos ($\gamma$) é mascarada (tratada como não rotulada).
   • O algoritmo LPA propaga informações de rótulos de nós rotulados para nós não rotulados com base na estrutura do grafo.
   • Isso gera rótulos inferidos ($\hat{Y}$) para os nós mascarados, aproveitando a suposição de variedade (proximidade no espaço de características implica similaridade de rótulo).

3. Função de Perda Composta:
   A função objetivo total combina a perda padrão de Entropia Cruzada ($L_{CE}$) com uma perda baseada em grafos ($L_G$) derivada da discrepância entre rótulos inferidos e verdadeiros:
   $$\mathcal{L} = \lambda L_G + (1 - \lambda) L_{CE}$$

   • $L_G$: Mede o erro entre os rótulos inferidos pela LPA e a verdade fundamental para os nós mascarados.
   • $\lambda$: Um fator de ponderação que equilibra a precisão da previsão local e a consistência estrutural global.

4. Co-evolução:
   Durante a retropropagação, o modelo atualiza tanto os parâmetros do LM quanto o classificador. À medida que os embeddings melhoram, a estrutura do grafo é recalculada na próxima iteração, garantindo que o grafo permaneça consistente com o espaço de representação em evolução.

3. Contribuições Principais

• Alinhamento Estrutural Global: Desloca o ajuste fino da otimização local por pares para o alinhamento estrutural global, impondo consistência em toda a variedade de embeddings via propagação de grafos.
• Aprendizado Dinâmico e Indutivo: Diferentemente de métodos de grafos estáticos, o G-Loss constrói grafos dinamicamente em mini-lotes. Isso reduz custos de memória, suporta aprendizado indutivo (generalização para dados não vistos) e permite que o grafo se adapte às representações em melhoria do modelo.
• Escalabilidade Livre de Parâmetros: A integração da LPA é livre de parâmetros (exceto hiperparâmetros como $\sigma$ e $\gamma$), tornando a abordagem escalável entre diferentes tamanhos de modelos e conjuntos de dados sem pipelines complexos de re-treinamento.
• Framework Unificado: Elimina a necessidade de etapas separadas de rotulagem pseudo e re-treinamento, integrando a propagação de rótulos diretamente na função de perda.

4. Resultados Experimentais

Os autores avaliaram o G-Loss em cinco conjuntos de dados de referência (MR, R8, R52, Ohsumed, 20NG) e duas tarefas GLUE (SST-2, QNLI) usando três arquiteturas de modelo (BERT-base, RoBERTa-large, DistilBERT).

• Ganhos de Desempenho:

  • O G-Loss superou consistentemente as linhas de base tradicionais (CE, SCL+CE, Triplet, Similaridade Cosseno) em Precisão e Macro F1-score.
  • Melhorias Notáveis: No modelo RoBERTa-large, o G-Loss alcançou novos resultados state-of-the-art em MR (90,82%), R52 (96,65%) e Ohsumed (75,76%).
  • Qualidade do Embedding: O G-Loss produziu Pontuações de Silhueta significativamente mais altas (indicando melhor separabilidade de clusters) em comparação com as linhas de base, particularmente em conjuntos de dados complexos como R8 e Ohsumed.

• Eficiência:

  • Convergência Mais Rápida: O G-Loss exigiu menos épocas para convergir (por exemplo, 23 épocas em R8 versus 200+ para algumas linhas de base).
  • Baixa Sobrecarga: Apesar da construção de grafos e LPA, o tempo de treinamento por época foi comparável ou mais rápido que as linhas de base (por exemplo, 27,77s versus 33,04s para SCL em MR). As operações de grafo adicionaram custo computacional negligenciável (<0,25s por época).

• Estudos de Ablação:

  • Razão de Ocultação de Rótulos ($\gamma$): O desempenho ótimo foi encontrado ao mascarar 30–50% dos rótulos ($\gamma \approx 0,5-0,7$), equilibrando propagação estável com sinais de aprendizado significativos.
  • Largura do Kernel ($\sigma$): O método mostrou robustez em uma faixa de valores de $\sigma$, embora o ajuste específico do conjunto de dados tenha produzido ganhos marginais.

5. Significado

• Ponte entre Paradigmas: O G-Loss conecta com sucesso a lacuna entre paradigmas baseados em Transformers (atenção local) e baseados em Grafos (relacional global), alcançando os benefícios de desempenho do raciocínio em grafos sem a pesada sobrecarga de memória de métodos de grafos completos estáticos.
• Escalabilidade: Ao operar em mini-lotes, o G-Loss é escalável para conjuntos de dados e modelos maiores, abordando um gargalo chave em abordagens híbridas anteriores de grafo-LM.
• Robustez: O método demonstra que incorporar restrições estruturais globais durante o ajuste fino leva a embeddings mais discriminativos e robustos, melhorando a generalização em tarefas de classificação binária e multiclasse com dados desbalanceados.

Em conclusão, o G-Loss oferece uma alternativa computacionalmente eficiente e de alto desempenho ao ajuste fino tradicional, provando que estruturas de grafos em evolução dinâmica podem aprimorar significativamente a aprendizagem de representação semântica de grandes modelos de linguagem.