Resumo Técnico: ModTGCN

1. Definição do Problema

Modelos de classificação de texto baseados em Redes Neurais de Grafos (GNNs), como o TextGCN, tipicamente dependem de agregação de vizinhança local. No entanto, grafos de documentos semânticos frequentemente exibem estruturas de comunidade globais fortes, onde documentos que compartilham o mesmo rótulo formam clusters assortativos. As abordagens existentes que ignoram essa estrutura global enfrentam dois problemas primários:

1. Fronteiras de Classe Borradas: Termos de alta frequência ou similaridades ruidosas podem criar "atalhos impulsionados por hubs" que obscurecem as distinções de classe.
2. Over-smoothing (Suavização Excessiva): Em GNNs mais profundas, a falta de restrições estruturais globais pode homogeneizar representações através de separações de comunidades fracas, reduzindo a discriminabilidade.

Embora modelos baseados em transformers (ex: BERT, LLMs) tenham alcançado um desempenho forte, eles frequentemente exigem um ajuste fino (fine-tuning) completo e custoso ou estratégias de adaptação complexas. O artigo postula que incorporar informações estruturais globais durante o treinamento pode melhorar a robustez e a separação de classes sem o pesado overhead computacional de co-treinar grandes modelos de linguagem com GNNs.

2. Metodologia: ModTGCN

Os autores propõem o ModTGCN, uma GNN consciente de modularidade que otimiza conjuntamente a perda de entropia cruzada padrão com um objetivo auxiliar baseado em modularidade.

2.1 Construção do Grafo

O modelo opera em uma arquitetura desacoplada para melhorar a escalabilidade, separando o grafo heterogêneo TextGCN original em três componentes:

1. Grafo Documento–Palavra ($G_d$): Construído usando pesos TF-IDF.
2. Grafo Palavra–Palavra ($G_w$): Construído a partir de Informação Mútua Pontual (PMI) baseada na coocorrência de palavras.
3. Grafo de Similaridade Documento–Documento ($G_{doc}$): Um grafo separado usado especificamente para otimização de modularidade. Os pesos das arestas representam a similaridade computada via um kernel Gaussiano (RBF) sobre embeddings de transformer (pré-treinados ou ajustados via SBERT).

2.2 Modularidade como um Objetivo Auxiliar

A inovação central é a integração da modularidade ($Q$) como um termo de regularização. A modularidade mede a densidade de arestas dentro de comunidades em comparação com um modelo nulo de preservação de grau.

• Função Objetivo: A perda total é definida como $L_{total} = \lambda L_{CE} - (1 - \lambda)Q(P)$, onde $L_{CE}$ é a entropia cruzada nos nós rotulados e $Q(P)$ é o escore de modularidade da matriz de comunidade predita $P$.
• Supervisão Híbrida: Para calcular a modularidade no grafo $G_{doc}$, o modelo utiliza rótulos reais (gold labels) para nós rotulados e pseudo-rótulos (predições do componente TextGCN) para nós não rotulados.
• Mecanismo: O gradiente de modularidade introduz um campo de supervisão global e corrigido por grau. Ele encoraja os nós a se alinharem com classes onde a conectividade observada excede a expectativa do modelo nulo, efetivamente propagando a supervisão de nós rotulados para regiões distantes e alinhando nós não rotulados entre si.

2.3 Desacoplamento Arquitetural

Para abordar o custo computacional do TextGCN original (que realiza propagação de dois saltos em um único grafo heterogêneo), o ModTGCN desacopla o grafo. Ele preserva a função de decisão para classificação de documentos ao computar os logits apenas através do fluxo de logit de documentos, eliminando computações redundantes de nós de palavras. Isso reduz operações esparsas em aproximadamente 50% por camada.

3. Principais Contribuições

1. GNN Consciente de Modularidade com Supervisão Híbrida: Introdução de um objetivo conjunto que promove comunidades consistentes de classe em um grafo documento-documento derivado de embeddings de modelos de linguagem, utilizando pseudo-rótulos para nós não rotulados.
2. Desacoplamento Arquitetural: Reformulação do grafo heterogêneo TextGCN em componentes separados de documento-palavra e palavra-palavra, alcançando melhorias significativas de escalabilidade sem alterar a função de decisão efetiva.
3. Análise Empírica de Estratégias: Comparação sistemática de estratégias de construção de grafos (TF-IDF vs. Cosseno vs. Similaridade Gaussiana), reponderação de arestas consciente de rótulos e escolhas de supervisão (rótulos reais vs. rótulos preditos) para otimização de modularidade.

4. Resultados Experimentais

Experimentos foram conduzidos em cinco conjuntos de dados de referência: MR, R8, R52, Ohsumed e 20 Newsgroups (20NG).

• Ganhos de Desempenho: O ModTGCN supera consistentemente as baselines padrão de GNN (TextGCN, TensorGCN) e as baselines de apenas embedding (Regressão Logística, Probing Linear).
  • Datasets de Baixa Homofilia: Os ganhos mais significativos foram observados em datasets estruturalmente complexos e de baixa homofilia, como Ohsumed e 20NG (ex: +5,5% no Ohsumed e +4,3% no 20NG usando embeddings ajustados).
  • Datasets de Alta Homofilia: Em datasets mais simples (MR, R8), os ganhos foram mais modestos, pois as representações pré-treinadas já estavam próximas da separabilidade linear.
• Comparação com LLMs: O ModTGCN (variantes pré-treinadas e ajustadas) superou as baselines de zero-shot e few-shot de LLMs (GPT-3, ChatGPT), particularmente no Ohsumed e 20NG, sugerindo que a supervisão explícita baseada em estrutura de grafo é eficaz quando a estrutura de grafo rotulada está disponível.
• Escalabilidade: A arquitetura desacoplada alcançou de 2× a 10× mais rapidez no treinamento em comparação ao TextGCN original. Por exemplo, no dataset 20NG, o tempo de treinamento caiu de ~1.450 segundos para ~150 segundos.
• Estudos de Ablação:
  • Estilo de Grafo: Grafos de similaridade Gaussiana (RBF) superaram consistentemente as abordagens de Cosseno e TF-IDF.
  • Supervisão: O uso de rótulos preditos para todos os nós (incluindo nós de treinamento) no cálculo da modularidade frequentemente rendeu melhores resultados do que usar apenas rótulos reais, particularmente sob desbalanceamento de classes.
  • Hiperparâmetros: O desempenho ideal foi encontrado com pesos de perda intermediários ($\lambda \approx 0,25-0,5$) e parâmetros de resolução moderados ($\gamma \approx 3,0$).

5. Significância e Alegações

O artigo afirma que o ModTGCN fornece um complemento leve e eficaz para a classificação de texto baseada em GCN. Sua principal significância reside em:

• Regularização Estrutural Global: Ele integra com sucesso a estrutura de comunidade global no processo de treinamento, mitigando o over-smoothing e os vieses de hubs que assolam as GNNs padrão.
• Eficiência de Rótulos: Ao alavancar pseudo-rótulos e modularidade, ele melhora o desempenho sem exigir o ajuste fino completo e caro de grandes modelos de linguagem.
• Escalabilidade: A arquitetura desacoplada torna a classificação de texto baseada em grafos viável para datasets maiores, onde o TextGCN original seria computacionalmente proibitivo.

Os autores concluem que, embora a otimização de modularidade seja mais benéfica em regimes de baixa homofilia com fronteiras semânticas sobrepostas, ela oferece um mecanismo principiado para alinhar representações aprendidas com comunidades de classe no grafo, complementando a passagem de mensagem local com priors estruturais globais.