7279 artigos
Este artigo utiliza crosscoders para comparar modelos MoE e densos, revelando que os MoE aprendem menos recursos únicos e mais especializados com maior densidade de ativação, enquanto os modelos densos distribuem a informação em recursos mais gerais e amplos.
O artigo "MoE Lens" demonstra que os modelos Mixture of Experts (MoE) exibem uma especialização concentrada, onde poucos especialistas dominam as decisões de roteamento e suas saídas individuais aproximam-se fortemente do ensemble completo, sugerindo oportunidades viáveis para otimização de inferência através do podamento direcionado de especialistas.
O artigo apresenta o MaCS (Margin and Consistency Supervision), um framework de regularização simples e agnóstico à arquitetura que, ao combinar uma penalidade de margem no espaço de logits com um regularizador de consistência, melhora significativamente a calibração e a robustez de modelos de visão computacional sem comprometer a precisão ou exigir alterações estruturais.
O artigo propõe o SEA-PEFT, um método de ajuste fino eficiente em parâmetros que automatiza a configuração de adaptadores por meio de um ciclo de busca, auditoria e alocação online, alcançando melhorias significativas na segmentação de imagens médicas 3D com poucos exemplos sem a necessidade de engenheiros especializados.
Este estudo empírico analisa os benefícios, limites e armadilhas da adaptação em tempo de teste via prompting de muitos exemplos, revelando que essa estratégia é eficaz para tarefas estruturadas com alto ganho de informação, mas frequentemente mostra benefícios limitados ou sensibilidade excessiva à estratégia de seleção em tarefas de geração aberta, especialmente em modelos de código aberto.
O artigo apresenta o ReflexiCoder, um novo framework de aprendizado por reforço que internaliza a capacidade de autorreflexão e autocorreção em modelos de linguagem, permitindo que eles gerem, depurem e corrijam código de forma autônoma e eficiente sem depender de oráculos externos ou feedback de execução durante a inferência.
O artigo apresenta o STEP, um novo framework que reformula a previsão de links temporais como um problema de previsão sequencial em tempo contínuo, modelando a dinâmica de eventos por meio de transições de motivos temporais governadas por processos de Poisson, o que resulta em ganhos significativos de precisão e eficiência computacional em comparação com os métodos mais avançados.
O artigo apresenta o ROSE, um método de poda "one-shot" para Grandes Modelos de Linguagem que reordena os pesos com base na perda de poda estimada para superar as limitações de ordem pré-definida do SparseGPT, alcançando maior precisão em modelos como LLaMA e Mistral.
O artigo apresenta o PixARMesh, um método inovador que reconstrói cenas 3D completas e prontas para uso artístico diretamente de uma única imagem RGB, gerando malhas coerentes e de alta fidelidade em uma única passagem através de um processo autoregressivo que unifica a previsão de layout e geometria.
Este artigo propõe três técnicas de mitigação de viés — filtragem top-k de conceitos, remoção de conceitos enviesados e desviés adversarial — para aprimorar a justiça em Modelos de Garrafa de Conceito (CBMs), superando trabalhos anteriores no equilíbrio entre desempenho e equidade na classificação de imagens.
O artigo apresenta o RePO, um novo método de otimização que combina aprendizado por reforço para explorar novas moléculas com orientação supervisionada baseada em referências para estabilizar o treinamento, superando abordagens tradicionais de ajuste fino e aprendizado por reforço em tarefas de otimização molecular guiada por LLMs.
Este artigo apresenta um modelo integrado que combina uma arquitetura de transformador de nós com análise de sentimento baseada em BERT para prever preços de ações, demonstrando superioridade sobre métodos tradicionais como ARIMA e LSTM ao capturar dependências cruzadas e dinâmicas de mercado, alcançando uma precisão de 0,80% de erro médio absoluto percentual em previsões de um dia.
O artigo propõe o "Artificial Replay" (Reprodução Artificial), um novo design experimental que permite comparar algoritmos de bandit multi-armed reutilizando trajetórias registradas para reduzir drasticamente o custo de interação e a variância do estimador, superando as limitações dos testes A/B tradicionais para políticas adaptativas.
O artigo apresenta o Weak-SIGReg, um método de regularização covariante eficiente que utiliza sketched isotropic Gaussian para estabilizar o treinamento de arquiteturas profundas sem bias, como Vision Transformers e MLPs, prevenindo o colapso das representações e melhorando significativamente a convergência em cenários de otimização desafiadores.
Este trabalho demonstra que abordar a falácia ecológica ao modelar o contexto linguístico do autor, seja através de pré-treinamento HuLM ou de ajuste fino (HuFT) com QLoRA em um modelo Llama de 8B, resulta em melhor desempenho em diversas tarefas downstream em comparação com métodos padrão.
Este artigo apresenta um acelerador em FPGA que elimina o gargalo de memória no processo de decodificação do mecanismo de atenção linear Gated DeltaNet, mantendo o estado recorrente em memória on-chip e alcançando uma velocidade 4,5 vezes superior e uma eficiência energética 60 vezes maior em comparação com GPUs de última geração.
O artigo propõe um framework de reescrita de estilo estruturado que, ao combinar a desentrelaçação explícita de características estilísticas com uma estratégia de condicionamento implícito via raciocínio encadeado, permite que modelos de linguagem pequenos (SLMs) gerem personagens com alta fidelidade estilística e semântica, superando modelos maiores em cenários de poucos dados.
Este artigo desenvolve modelos interpretáveis que integram traços psicológicos individuais e contextos situacionais inferidos a partir de dados de mídia social para prever o bem-estar, demonstrando que abordagens baseadas em teoria psicológica oferecem desempenho competitivo e maior transparência em comparação com embeddings de modelos de linguagem.
O artigo propõe o Omni-Masked Gradient Descent (OMGD), um método de otimização leve e compatível com os principais otimizadores que utiliza travessia de máscaras para treinamento eficiente em memória e oferece uma complexidade de iteração estritamente melhorada de em cenários não convexos, superando as abordagens existentes tanto em garantias teóricas quanto em desempenho empírico.
O artigo apresenta o TADPO, uma nova formulação de gradiente de política que combina trajetórias off-policy e on-policy para permitir a navegação em alta velocidade em terrenos off-road complexos, marcando a primeira implementação bem-sucedida de políticas baseadas em aprendizado por reforço em um veículo off-road em escala real com transferência zero-shot de simulação para a realidade.