🤖 Category

cs.LG

4342 artigos

The Bayesian Geometry of Transformer Attention

O artigo "The Bayesian Geometry of Transformer Attention" demonstra que, em ambientes controlados chamados "túneis de vento bayesianos", os transformadores realizam inferência bayesiana com alta precisão através de um mecanismo geométrico específico envolvendo o alinhamento progressivo de chaves e consultas e uma variedade de valores de baixa dimensão, estabelecendo uma separação arquitetônica clara em relação a MLPs e oferecendo uma base para conectar sistemas pequenos verificáveis a fenômenos de raciocínio em grandes modelos de linguagem.

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra2026-03-12📊 stat

Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds

Este artigo estabelece que o treinamento por entropia cruzada em transformadores induz uma dinâmica de roteamento baseada em vantagens e atualizações de valores ponderadas por responsabilidade, que atuam como um procedimento EM de duas escalas temporais para esculpir geometrias bayesianas de baixa dimensão que sustentam o raciocínio probabilístico em contexto.

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra2026-03-12📊 stat

Inferring Clinically Relevant Molecular Subtypes of Pancreatic Cancer from Routine Histopathology Using Deep Learning

O artigo apresenta o PanSubNet, um modelo de aprendizado profundo interpretável que classifica subtipos moleculares clinicamente relevantes do câncer de pâncreas diretamente a partir de lâminas histológicas rotineiras (H&E), oferecendo uma alternativa rápida, econômica e generalizável aos métodos baseados em sequenciamento de RNA para estratificação prognóstica e preditiva.

Abdul Rehman Akbar, Alejandro Levya, Ashwini Esnakula, Elshad Hasanov, Anne Noonan, Lingbin Meng, Susan Tsai, Vaibhav Sahai, Midhun Malla, Sarbajit Mukherjee, Upender Manne, Anil Parwani, Wei Chen, Ashish Manne, Muhammad Khalid Khan Niazi2026-03-12⚡ eess

Over-Searching in Search-Augmented Large Language Models

Este artigo investiga o problema do "excesso de busca" em modelos de linguagem aumentados por busca, propondo a métrica Tokens Per Correctness (TPC) para avaliar o equilíbrio entre desempenho e custo, identificando fatores que agravam o fenômeno e apresentando estratégias de mitigação e um novo conjunto de dados (OverSearchQA) para pesquisas futuras.

Roy Xie, Deepak Gopinath, David Qiu, Dong Lin, Haitian Sun, Saloni Potdar, Bhuwan Dhingra2026-03-12🤖 cs.LG

Sampling via Stochastic Interpolants by Langevin-based Velocity and Initialization Estimation in Flow ODEs

Este artigo propõe um método inovador para amostragem de distribuições de Boltzmann não normalizadas, utilizando uma sequência de amostradores de Langevin para simular eficientemente um fluxo de equação diferencial ordinária (ODE) derivado de interpolantes estocásticos lineares, oferecendo garantias teóricas de convergência e demonstrando eficácia em distribuições multimodais e tarefas de inferência bayesiana.

Chenguang Duan, Yuling Jiao, Gabriele Steidl, Christian Wald, Jerry Zhijian Yang, Ruizhe Zhang2026-03-12📊 stat

Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities

Este artigo apresenta o VR-SDA-A, um método inovador de redução de variância que combina momentum recursivo com verificação de curvatura por mesma amostra para superar a barreira da estocasticidade em desigualdades variacionais estocásticas, alcançando complexidade de oráculo ótima de O(ε⁻³) e permitindo adaptação automática da taxa de aprendizado em cenários não convexos e não côncavos.

Yungi Jeong, Takumi Otsuka2026-03-12🤖 cs.LG

Emergence of Distortions in High-Dimensional Guided Diffusion Models

Este artigo formaliza a perda de diversidade em modelos de difusão guiados por classificação (CFG) como uma distorção generativa, demonstrando através de análise de física estatística que esse fenômeno surge em um regime de alta dimensão e propondo um novo cronograma de orientação com janela de orientação negativa para mitigar a redução de variância sem comprometer a separabilidade das classes.

Enrico Ventura, Beatrice Achilli, Luca Ambrogioni, Carlo Lucibello2026-03-12📊 stat

Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing

Este artigo demonstra teoricamente e valida empiricamente que as alucinações em modelos de linguagem são uma consequência inevitável da otimização de memória sob capacidade limitada, onde a estratégia informacionalmente ótima para testes de associação em dados esparsos exige a atribuição de alta confiança a alguns fatos incorretos como resultado da compressão com perdas.

Anxin Guo, Jingwei Li2026-03-12💬 cs.CL

Expert-Data Alignment Governs Generation Quality in Decentralized Diffusion Models

O estudo demonstra que a qualidade da geração em Modelos de Difusão Descentralizados é governada pelo alinhamento entre os especialistas e os dados, e não pela estabilidade numérica, pois o roteamento que prioriza especialistas treinados em distribuições de dados próximas ao estado atual de remoção de ruído produz resultados superiores, mesmo que isso resulte em dinâmicas de amostragem menos estáveis.

Marcos Villagra, Bidhan Roy, Raihan Seraj, Zhiying Jiang2026-03-12🤖 cs.LG

A Bandit-Based Approach to Educational Recommender Systems: Contextual Thompson Sampling for Learner Skill Gain Optimization

Este artigo apresenta uma abordagem baseada em bandit contextual, utilizando amostragem de Thompson, para otimizar a sequência personalizada de exercícios em sistemas de recomendação educacional, demonstrando que tal método maximiza o ganho de habilidades dos alunos em plataformas de tutoria online em larga escala.

Lukas De Kerpel, Arthur Thuy, Dries F. Benoit2026-03-12📊 stat

Long Chain-of-Thought Compression via Fine-Grained Group Policy Optimization

Este artigo propõe o Fine-grained Group Policy Optimization (FGO), um algoritmo de Aprendizado por Reforço que comprime de forma eficiente o raciocínio passo a passo (Chain-of-Thought) de Grandes Modelos de Linguagem, superando limitações de eficiência de dados e colapso de entropia do GRPO sem degradar o desempenho em benchmarks de raciocínio.

Xinchen Han, Hossam Afifi, Michel Marot, Xilu Wang, Lu Yin2026-03-12🤖 cs.LG