Resumo Técnico: Revisitando a Década Pós-GCN: Avaliação Estratificada por Curvatura do Aprendizado Relacional

1. Declaração do Problema

As práticas atuais de avaliação em aprendizado relacional dependem fortemente de "leaderboards planos" que fazem a média do desempenho dos modelos através de conjuntos de dados heterogêneos. Essa abordagem assume implicitamente que os dados relacionais constituem uma categoria monolítica com uma estrutura subjacente uniforme. Os autores argumentam que essa suposição introduz um viés sistemático ao obscurecer variações de desempenho dependentes da geometria. Consequentemente, os benchmarks padrão podem gerar conclusões enganosas sobre a generalização de modelos, potencialmente atribuindo o sucesso a uma superioridade arquitetônica quando, na verdade, é resultado de um alinhamento fortuito com as propriedades geométricas dominantes da mistura específica de conjuntos de dados.

Embora trabalhos recentes tenham introduzido modelos hiperbólicos, esféricos e de curvatura mista para corresponder a topologias de dados específicas, o paradigma de avaliação permanece estagnado, julgando modelos especializados contra médias globais que escondem sua verdadeira utilidade. Isso cria um "desajuste geométrico" onde modelos são projetados para curvaturas específicas, mas avaliados pelo "médio".

2. Metodologia: CURVBENCH

Para abordar essas questões, os autores introduzem o CURVBENCH, uma estrutura de auditoria estratificada por curvatura. A metodologia procede através de três estáveis principais:

A. Caracterização Geométrica

A estrutura trata os grafos como espaços métricos finitos e quantifica sua geometria intrínseca usando duas métricas primárias derivadas da curvatura seccional discreta:

1. Curvatura Média ($\bar{\kappa}(G)$): Mede a curvatura assinada média do grafo, indicando se a geometria local é geralmente Euclidiana (próxima de zero), Esférica (positiva) ou Hiperbólica (negativa).
2. Assimetria de Curvatura ($\gamma_\kappa(G)$): Captura a assimetria da distribuição de curvatura. Isso é crítico para identificar conjuntos de dados onde um pequeno subconjunto de nós ou arestas carrega sinais geométricos desproporcionalmente grandes (ex: geometria impulsionada por cauda em grafos derivados de tabelas), mesmo que a curvatura média seja próxima de zero.

Com base nessas métricas, os conjuntos de dados são particionados em três regimes:

• Próximo a zero: $|\bar{\kappa}(G)| < 0.01$ e $|\gamma_\kappa(G)| < 0.5$.
• Positivo: Caracterizado por curvatura média positiva ou assimetria positiva.
• Negativo: Caracterizado por curvatura média negativa ou assimetria negativa.

B. Configuração Experimental

• Conjuntos de Dados: O benchmark avalia 14 conjuntos de dados diversos, incluindo 9 grafos naturais (ex: Cora, Citeseer, Airport, Telecom) e 5 grafos derivados de tabelas (ex: Carcinogenesis, Hepatitis, F1).
• Modelos: 18 modelos representativos são avaliados, categorizados por seus vieses indutivos geométricos:
  • Euclidianos/Agnósticos à Geometria: MLP, GCN, GAT, GraphSAGE, PCNet.
  • Hiperbólicos: HGNN, HGCN, HAT, HyboNet.
  • Flexíveis/Curvatura Mista: QGCN, CUSP.
  • Riemannianos Adaptativos: GraphMoRE.
  • Modelos de Fundação de Grafos (GFMs): GCOPE, MDGPT, MDGFM, SAMGPT, GraphGluing, SA2GFM.
• Tarefas: Classificação de Nós e Predição de Links.
• Protocolo de Avaliação: Em vez de um único leaderboard global, o desempenho é analisado via diagnósticos condicionados ao regime. Os autores utilizam métricas de consistência de ranking (Spearman, Kendall, sobreposição de Jaccard) para comparar classificações de modelos dentro e entre regimes de curvatura.

C. Fundamentação Teórica

O artigo fornece justificativa teórica para a abordagem:

• Desajuste de Curvatura: É provado que a distorção métrica em um embedding é limitada inferiormente pelo desajuste nos resíduos de curvatura. Se o espaço de embedding de um modelo não se alinha com a curvatura intrínseca do grafo, a distorção métrica sistemática é inevitável.
• Ordens Condicionadas ao Regime: Os autores demonstram que a lacuna entre a estabilidade de ranking intra-regime e inter-regime serve como uma estimativa direta da variação de preferência. Se a curvatura afeta o comportamento do modelo, os rankings serão estáveis dentro de um regime, mas instáveis entre regimes.

3. Resultados Principais

A. Regimes de Curvatura Induzem Ordens Parciais Coerentes

Os rankings dos modelos são altamente estáveis dentro de um regime geométrico homogêneo, mas mudam significativamente entre regimes.

• Consistência: A correlação de Spearman intra-regime para os top-3 rankings é de 0.539, comparada a apenas 0.036 entre regimes.
• Reorganização de Vieses Indutivos:
  • Regime Próximo a Zero: Métodos Euclidianos (GraphSAGE, PCNet) dominam.
  • Regime Positivo: Métodos Euclidianos permanecem competitivos, mas o MLP torna-se altamente preditivo, sugerindo que os atributos dos nós superam a estrutura relacional em grafos compactos/agrupados.
  • Regime Negativo: Métodos de curvatura mista e Riemannianos adaptativos (GraphMoRE, QGCN) dominam, enquanto métodos Euclidianos caem para 0% das posições no top-3. Isso indica que modelos Euclidianos não são inerentemente fracos, mas sim limitados pelo regime.

B. Modelos de Fundação de Grafos (GFMs) são Condicionados pela Geometria

Os GFMs não eliminam a necessidade de avaliação consciente da curvatura; eles introduzem novos vieses indutivos condicionados pela geometria.

• Desempenho de 1-Shot: Os rankings permanecem condicionados à curvatura. Modelos baseados em tokens (MDGPT, MDGFM) destacam-se em grafos próximos a zero, enquanto modelos de alinhamento estrutural (GraphGluing) dominam em regimes positivos.
• Elasticidade de Rótulo: O aumento da supervisão de 1-shot para 5-shot gera ganhos elevados para grafos próximos a zero (limitados por rótulos), mas retornos decrescentes para grafos positivos e negativos (limitados por geometria).
• Viabilidade: Vários GFMs encontram erros de Out-of-Memory (OOM) em conjuntos de dados específicos (ex: Telecom), destacando que a viabilidade é uma manifestação da dificuldade de transferência, não apenas um detalhe de implementação.

C. Grafos Derivados de Tabelas Revelam Geometria Impulsionada por Cauda

Grafos derivados de tabelas frequentemente exibem curvatura média próxima a zero, mas assimetria positiva extrema.

• Especialista vs. Robustez: Modelos como o HAT atuam como "especialistas de alta variância", excelendo em conjuntos de dados com caudas de curvatura pronunciadas (ex: F1, PTE), mas falhando em outros. Em contraste, baselines Euclidianos como o GraphSAGE fornecem um desempenho mais estável e robusto através desses conjuntos de dados heterogêneos.
• Necessidade de Métricas: Confiar apenas na curvatura média obscurece esses trade-offs entre especialista e robustez; tanto a média quanto a assimetria são necessárias para explicar o desempenho.

D. Perfis de Eficiência

A modelagem consciente da geometria introduz perfis de eficiência distintos. Embora os baselines Euclidianos sejam computacionalmente leves, métodos adaptativos e pesados em variedades (ex: GraphMoRE, HAT) incorrem em custos substanciais de treinamento e inferência. Notavelmente, o custo de treinamento e o custo de inferência nem sempre se correlacionam (ex: HyboNet tem custo de treinamento moderado, mas baixo custo de inferência, enquanto o GraphMoRE é caro em ambos).

4. Contribuições

1. Desenvolvimento de Framework: Uma estrutura estratificada por curvatura baseada em curvatura média e assimetria para categorizar conjuntos de dados de grafos e tabelas em regimes geometricamente significativos.
2. Evidência Empírica: Avaliação de 18 métodos revelando que o desempenho é fundamentalmente dependente da geometria e não universalmente transferível, com os rankings dos modelos invertendo-se entre regimes.
3. Formalização Metodológica: Uma metodologia estratificada por regime que substitui os leaderboards planos por comparações conscientes da geometria, oferecendo insights mais confiáveis e interpretáveis para seleção de modelos.
4. Liberação de Recursos: Liberação de todo o código, divisões de conjuntos de dados estratificadas por curvatura e ferramentas de diagnóstico para apoiar a avaliação reprodutível.

5. Significância e Alegações

O artigo afirma que reduzir a capacidade de um modelo a uma única pontuação agregada não é mais suficiente para o cenário de pesquisa atual. A significância deste trabalho reside na mudança do paradigma de avaliação de identificar um modelo "globalmente melhor" para determinar quais vieses indutivos são mais eficazes sob condições geométricas específicas.

Os autores argumentam que:

• Confiabilidade: A avaliação confiável deve transcender a simples acurácia para incorporar elasticidade de rótulo, trade-offs de especialista-robustez e viabilidade computacional.
• Trajetórias Futuras: O campo deve mover-se em direção a diagnósticos estratificados e conscientes da cobertura, que revelem as condições específicas sob as quais um modelo tem sucesso. Além disso, futuros sistemas de aprendizado relacional devem transitar de vieses indutivos fixos para arquiteturas adaptativas à geometria, capazes de inferir ou compor vieses apropriados diretamente dos dados.

Ao tornar o design de benchmarks estruturalmente consciente, os autores visam caracterizar melhor as forças e limitações fundamentais da próxima geração de modelos de grafos e de fundação.