11065 artigos
O artigo apresenta o ROSE, um método de poda "one-shot" para Grandes Modelos de Linguagem que reordena os pesos com base na perda de poda estimada para superar as limitações de ordem pré-definida do SparseGPT, alcançando maior precisão em modelos como LLaMA e Mistral.
O artigo apresenta o PixARMesh, um método inovador que reconstrói cenas 3D completas e prontas para uso artístico diretamente de uma única imagem RGB, gerando malhas coerentes e de alta fidelidade em uma única passagem através de um processo autoregressivo que unifica a previsão de layout e geometria.
Este artigo propõe três técnicas de mitigação de viés — filtragem top-k de conceitos, remoção de conceitos enviesados e desviés adversarial — para aprimorar a justiça em Modelos de Garrafa de Conceito (CBMs), superando trabalhos anteriores no equilíbrio entre desempenho e equidade na classificação de imagens.
O artigo apresenta o RePO, um novo método de otimização que combina aprendizado por reforço para explorar novas moléculas com orientação supervisionada baseada em referências para estabilizar o treinamento, superando abordagens tradicionais de ajuste fino e aprendizado por reforço em tarefas de otimização molecular guiada por LLMs.
Este artigo apresenta um modelo integrado que combina uma arquitetura de transformador de nós com análise de sentimento baseada em BERT para prever preços de ações, demonstrando superioridade sobre métodos tradicionais como ARIMA e LSTM ao capturar dependências cruzadas e dinâmicas de mercado, alcançando uma precisão de 0,80% de erro médio absoluto percentual em previsões de um dia.
O artigo propõe o "Artificial Replay" (Reprodução Artificial), um novo design experimental que permite comparar algoritmos de bandit multi-armed reutilizando trajetórias registradas para reduzir drasticamente o custo de interação e a variância do estimador, superando as limitações dos testes A/B tradicionais para políticas adaptativas.
O artigo apresenta o Weak-SIGReg, um método de regularização covariante eficiente que utiliza sketched isotropic Gaussian para estabilizar o treinamento de arquiteturas profundas sem bias, como Vision Transformers e MLPs, prevenindo o colapso das representações e melhorando significativamente a convergência em cenários de otimização desafiadores.
Este trabalho demonstra que abordar a falácia ecológica ao modelar o contexto linguístico do autor, seja através de pré-treinamento HuLM ou de ajuste fino (HuFT) com QLoRA em um modelo Llama de 8B, resulta em melhor desempenho em diversas tarefas downstream em comparação com métodos padrão.
Este artigo apresenta um acelerador em FPGA que elimina o gargalo de memória no processo de decodificação do mecanismo de atenção linear Gated DeltaNet, mantendo o estado recorrente em memória on-chip e alcançando uma velocidade 4,5 vezes superior e uma eficiência energética 60 vezes maior em comparação com GPUs de última geração.
O artigo propõe um framework de reescrita de estilo estruturado que, ao combinar a desentrelaçação explícita de características estilísticas com uma estratégia de condicionamento implícito via raciocínio encadeado, permite que modelos de linguagem pequenos (SLMs) gerem personagens com alta fidelidade estilística e semântica, superando modelos maiores em cenários de poucos dados.
Este artigo desenvolve modelos interpretáveis que integram traços psicológicos individuais e contextos situacionais inferidos a partir de dados de mídia social para prever o bem-estar, demonstrando que abordagens baseadas em teoria psicológica oferecem desempenho competitivo e maior transparência em comparação com embeddings de modelos de linguagem.
O artigo propõe o Omni-Masked Gradient Descent (OMGD), um método de otimização leve e compatível com os principais otimizadores que utiliza travessia de máscaras para treinamento eficiente em memória e oferece uma complexidade de iteração estritamente melhorada de em cenários não convexos, superando as abordagens existentes tanto em garantias teóricas quanto em desempenho empírico.
O artigo apresenta o TADPO, uma nova formulação de gradiente de política que combina trajetórias off-policy e on-policy para permitir a navegação em alta velocidade em terrenos off-road complexos, marcando a primeira implementação bem-sucedida de políticas baseadas em aprendizado por reforço em um veículo off-road em escala real com transferência zero-shot de simulação para a realidade.
O artigo apresenta o EvoESAP, um método de poda de especialistas não uniforme para modelos MoE esparsos que utiliza uma métrica baseada em aceitação especulativa (ESAP) e busca evolutiva para otimizar a alocação de orçamento entre camadas, resultando em ganhos significativos de desempenho na geração de texto aberto sem comprometer a precisão em tarefas de múltipla escolha.
O artigo demonstra que o estagnamento de aprendizado no PPO ocorre quando as estimativas baseadas em amostras se tornam proxies ruins do objetivo real, propondo que escalar para mais de 1 milhão de ambientes paralelos, ajustando adequadamente os hiperparâmetros, permite reduzir o ruído e o tamanho do passo para alcançar melhorias monotônicas de desempenho até um trilhão de transições.
Este artigo melhora os limites conhecidos para a complexidade de aprendizado agnóstico sob marginais gaussianas, demonstrando que um grau polinomial de é suficiente para aproximar classes de conceitos com área de superfície gaussiana , resultando em limites quase ótimos para funções de limiar polinomial no modelo de consultas estatísticas.
Este artigo demonstra que a dinâmica de Langevin, combinada com a média dos iterados, consegue recuperar uma direção oculta em cenários de alta dimensão com uma complexidade de amostragem ótima de , superando limites anteriores sem a necessidade de suavização explícita do terreno.
O artigo apresenta o TempoSyncDiff, um framework de difusão latente baseado em distilação que utiliza um modelo professor-aluno e regularização temporal para gerar cabeças falantes acionadas por áudio com alta fidelidade, estabilidade temporal e baixa latência, viabilizando sua implementação em dispositivos de borda.
O artigo apresenta o IR-GeoDiff, um modelo de difusão latente inovador que recupera geometrias moleculares tridimensionais a partir de espectros de infravermelho ao integrar informações espectrais nas representações de nós e arestas, superando as limitações das abordagens anteriores baseadas em estruturas bidimensionais.
O artigo propõe o otimizador SGDF, que utiliza princípios de filtragem linear ótima para recalibrar dinamicamente os coeficientes de momento no aprendizado por gradiente, superando métodos convencionais ao equilibrar idealmente a supressão de ruído e a preservação do sinal.