Specialization of softmax attention heads: insights from the high-dimensional single-location model

Este artigo propõe um modelo teórico que explica a especialização dinâmica das cabeças de atenção em transformadores, demonstrando como elas se alinham sequencialmente a direções de sinal durante o treinamento e como funções de ativação específicas, como o softmax-1 e o Bayes-softmax, podem reduzir ruído e otimizar o desempenho preditivo.

M. Sagitova, O. Duranthon, L. Zdeborová2026-03-05🤖 cs.LG

Graphs are focal hypergraphs: strict containment in higher-order interaction dynamics

O artigo estabelece uma hierarquia estrita de modelos dinâmicos, demonstrando que os grafos são um caso particular de hipergrafos focais (onde as interações são definidas em relação a um nó de referência), os quais, por sua vez, são um subconjunto dos hipergrafos gerais, e defende que a escolha entre essas formalizações deve ser guiada pela natureza das interações do sistema em estudo.

Elkaïoum M. Moutuou2026-03-05🔬 physics

Non-equilibrium dynamics of the disordered Power of Two model

Este estudo investiga a dinâmica de não equilíbrio do modelo Power-of-Two com desordem, descobrindo que, embora a desordem forte induza localização e perfis não monotônicos nos correlatores, o modelo permanece ergódico no limite termodinâmico para qualquer intensidade finita de desordem, pois a transição de localização ocorre a um valor crítico que cresce com o tamanho do sistema.

Kunal Singh, Sayan Choudhury2026-03-05🔬 physics

Hyperuniform Disorder in Photonic Crystal Slabs with Intrinsic non-Hermiticity

Este trabalho investiga teórica e numericamente a propagação da luz em cristais fotônicos com desordem hiperuniforme, demonstrando que a não-hermiticidade intrínseca devido às perdas radiativas altera fundamentalmente o comportamento do espalhamento em relação ao caso hermitiano, substituindo a lei de potência por uma expressão que inclui uma constante finita e um expoente modificado, conforme validado por simulações e dados experimentais.

Zeyu Zhang, Koorosh Sadri, Brian Gould + 1 more2026-03-05🔬 cond-mat.mes-hall

Thermodynamic coprocessor for linear operations with input-size-independent calculation time based on open quantum system

Este trabalho propõe um coprocessador termodinâmico baseado em sistemas quânticos abertos que realiza multiplicações de vetores por matrizes estocásticas em paralelo com um tempo de cálculo independente do tamanho da entrada, estabelecendo uma correspondência direta entre esses sistemas e estruturas elétricas de cruzamento.

I. V. Vovchenko, A. A. Zyablovsky, A. A. Pukhov + 1 more2026-03-04⚛️ quant-ph

Low-temperature transition of 2d random-bond Ising model and quantum infinite randomness

O artigo demonstra que a transição de fase ferromagneto-paramagneto no modelo de Ising bidimensional com ligações aleatórias a baixas temperaturas pode ser compreendida através de uma transformação de grupo de renormalização que, ao mapear a termodinâmica do sistema para um problema quântico não interativo, revela um fluxo de infinito desordem na escala de energia do Hamiltoniano, onde o expoente de tunelamento é igual ao expoente de rigidez de spin do ponto fixo de temperatura zero.

Akshat Pandey, Aditya Mahadevan, A. Alan Middleton + 1 more2026-03-04⚛️ quant-ph