Learned Attention or Mechanical Flattening? Diagnosing Index Gains in Spillover Networks

Este estudo demonstra que, embora a adição de uma camada de atenção de grafo a um modelo de rede de transbordamento aumente o índice de conectividade total, esse ganho é provavelmente um artefato mecânico de redistribuição de variância em vez de uma melhoria genuína na atenção aprendida, visto que um simples encolhimento em direção a uma matriz uniforme alcança resultados idênticos com erro menor.

Autores originais: Ozan Nadirgil