Aitchison Embeddings for Learning Compositional Graph Representations

1. Declaração do Problema

A aprendizagem de representações de grafos é fundamental para tarefas como previsão de links e classificação de nós. No entanto, os métodos existentes enfrentam duas limitações primárias em relação à interpretabilidade e à modelagem estrutural:

• Falta de Interpretabilidade Intrínseca: As embeddings euclidianas padrão (e.g., Node2Vec, GNNs) codificam a similaridade geometricamente, mas carecem de significado semântico em suas dimensões latentes. Distâncias e direções são frequentemente arbitrárias e sensíveis a escolhas de coordenadas, exigindo análise post-hoc para explicação.
• Modelagem Inadequada de Estruturas de Papéis: Muitas redes do mundo real exibem estruturas de mistura de papéis onde os nós não são entidades distintas, mas sim misturas de fatores arquetípicos latentes (e.g., um usuário atuando simultaneamente como "pesquisador" e "estudante").
  • Modelos baseados em papéis tradicionais (e.g., Modelos de Blocos Estocásticos) assumem papéis discretos e alinhados aos eixos.
  • Modelos de pertencimento misto permitem sobreposição, mas frequentemente dependem de eixos discretos e identificáveis que falham quando os papéis são contínuos, sobrepostos ou definidos por trade-offs relativos em vez de magnitudes absolutas.
  • Espaços euclidianos padrão não lidam naturalmente com dados composicionais (dados onde apenas as razões entre componentes importam, e não a escala absoluta), levando a problemas com invariância de escala e coerência subcomposicional.

2. Metodologia: AICoG

Os autores propõem Embeddings Composicionais de Grafos Aitchison (AICoG), um framework fundamentado na geometria de Aitchison, a geometria canônica para dados composicionais.

Conceitos Centrais

• Representação Composicional: Cada nó $i$ é representado como uma composição $z_i$ no simplex de dimensão $(K-1)$, $\Delta^{K-1}$, onde $K$ é o número de fatores arquetípicos latentes. O vetor $z_i = (z_{i1}, \dots, z_{iK})$ representa a contribuição relativa de cada arquétipo ao nó.
• Geometria de Aitchison: Em vez de distância euclidiana, a similaridade é medida usando a distância de Aitchison, que depende exclusivamente das log-razões entre componentes. Isso garante invariância de escala (níveis absolutos de atividade não afetam a similaridade) e coerência subcomposicional (remover um subconjunto de componentes preserva a geometria relativa).
• Transformação Log-Razão Isométrica (ILR): Para permitir otimização usando ferramentas euclidianas padrão (como descida de gradiente) enquanto preserva a geometria de Aitchison, o método mapeia composições do simplex para um espaço euclidiano não restrito $\mathbb{R}^{K-1}$ via transformação ILR:
  $$x_i = \text{ILR}(z_i) = \log(z_i)^\top V$$
  onde $V$ é uma base ortonormal para o espaço de contraste. Esta transformação é uma isometria, o que significa que a distância euclidiana entre $x_i$ e $x_j$ é exatamente igual à distância de Aitchison entre $z_i$ e $z_j$.

Arquitetura do Modelo

1. Parametrização: As composições de nós $z_i$ são parametrizadas via logits não restritos $\tilde{z}_i$ passados através de uma função softmax para garantir que estejam no simplex.
2. Verossimilhança de Aresta: A probabilidade de uma aresta $(i, j)$ é modelada como uma distribuição Bernoulli onde o log-odds $\eta_{ij}$ é uma função monotonicamente decrescente da distância ILR:
   $$\eta_{ij} = -\|x_i - x_j\|^2 + \gamma_i + \gamma_j$$
   Aqui, $\gamma$ representa vieses específicos do nó (e.g., heterogeneidade de grau).
3. Otimização: O modelo é treinado maximizando a log-verossimilhança Bernoulli sobre as arestas observadas.
4. Flexibilidade de Base: O framework suporta tanto bases fixas (e.g., base de Helmert) quanto bases aprendíveis (treinadas conjuntamente com as embeddings) para otimizar a interpretabilidade.

3. Principais Contribuições

1. Framework AICoG: Introdução de um framework de embedding de grafos que modela nós como composições sobre arquétipos latentes e os compara usando a geometria de Aitchison.
2. Equivalência Expressiva: Prova de que embutir composições via coordenadas ILR produz um modelo de distância latente expressivamente equivalente aos modelos de distância latente euclidianos padrão não restritos. Isso significa que o AICoG ganha interpretabilidade sem sacrificar a capacidade de representar matrizes complexas de probabilidade de arestas.
3. Papéis Geométricos: Uma nova definição de "papéis" como regiões em um espaço latente composicional caracterizadas por trade-offs relativos estáveis, em vez de dimensões alinhadas aos eixos. Isso suporta estruturas de papéis contínuas e sobrepostas.
4. Coerência Subcomposicional: Demonstração de que o framework permite restrição principial de componentes. Remover e renormalizar um subconjunto de fatores arquetípicos preserva uma geometria bem definida, permitindo a análise de como grupos específicos de arquétipos influenciam previsões sem retreinamento.
5. Explicabilidade Intrínseca: O método fornece explicações por construção. A similaridade é explicada através de balanços de log-razões (trade-offs) entre arquétipos, que são invariantes a reparametrizações ortogonais do sistema de coordenadas.

4. Resultados Experimentais

Os autores avaliaram o AICoG em vários conjuntos de dados (redes de citação: Cora, Citeseer; coautoria: DBLP, AstroPh, etc.; sociais: LastFM) contra bases fortes incluindo Node2Vec, Role2Vec, MMSBM e SLIM-RAA.

• Previsão de Links: O AICoG alcançou pontuações AUC-ROC competitivas ou superiores em comparação com bases fortes. Notavelmente, substituir a geometria de Aitchison por geometria euclidiana no simplex (SIMPLEX-EUCLIDEAN) causou uma queda significativa de desempenho, provando que a própria geometria composicional é crítica, e não apenas a restrição do simplex.
• Classificação de Nós: O AICoG alcançou pontuações Micro-F1 favoráveis, comparáveis a métodos euclidianos, enquanto fornece representações geometricamente interpretáveis.
• Avaliação Subcomposicional: Quando componentes foram removidos (redução de dimensionalidade via seleção de subconjunto), o AICoG manteve o desempenho significativamente melhor do que outras bases baseadas em simplex (como MMSBM ou HM-LDM). Isso confirma a estabilidade da representação sob restrição principial de componentes.
• Análise de Interpretabilidade: Visualizações mostraram que diferentes bases ILR (Helmert, Aprendida, Varimax) produziram separações de rótulos consistentes, confirmando que a estrutura é invariante ao sistema de coordenadas. O método identificou com sucesso "trajetórias de trade-off" interpretáveis entre arquétipos.

5. Significado e Impacto

• Ponte entre Lacunas: O AICoG preenche a lacuna entre alto desempenho preditivo (típico de embeddings euclidianas) e alta interpretabilidade (típica de modelos de papéis probabilísticos).
• Novo Paradigma para Papéis: Desloca o paradigma de papéis discretos e alinhados aos eixos para trade-offs relativos contínuos, o que reflete melhor a natureza de muitas redes do mundo real (e.g., sociais, biológicas, econômicas).
• Explicabilidade Principial: Diferentemente de métodos de explicação post-hoc (e.g., GNNExplainer), as explicações do AICoG são intrínsecas à geometria do modelo. Permite que pesquisadores perguntem "como o trade-off entre o Arquétipo A e B afeta a posição do nó?" em vez de "qual é o peso da dimensão X?".
• Direções Futuras: O artigo sugere que a geometria de Aitchison pode servir como fundação para estender vieses indutivos composicionais a outras arquiteturas, como redes neurais de passagem de mensagens operando em estados de nós composicionais.

Em resumo, o AICoG oferece uma abordagem matematicamente rigorosa e praticamente eficaz para aprender representações de grafos onde a semântica do espaço latente está explicitamente alinhada com a natureza relativa e composicional dos papéis dos nós.