Learned Attention or Mechanical Flattening? Diagnosing Index Gains in Spillover Networks

Questo studio dimostra che, sebbene l'aggiunta di uno strato di attenzione a un grafo a un modello di rete di spillover aumenti l'indice di connettività totale, questo guadagno è probabilmente un artefatto meccanico della ridistribuzione della varianza piuttosto che un reale miglioramento dell'attenzione appresa, poiché una semplice contrazione verso una matrice uniforme ottiene risultati identici con un errore inferiore.

Autori originali: Ozan Nadirgil