8669 artigos
Este artigo apresenta o desenvolvimento e análise de arquiteturas de Mistura de Especialistas (MoE) e Mistura de Especialistas Lineares (MoLE) para Potenciais Interatômicos Baseados em Aprendizado de Máquina (MLIPs), demonstrando que o uso de ativação esparsa com especialistas compartilhados e roteamento elemento a elemento resulta em um modelo com precisão de última geração e especialização química interpretável.
O artigo apresenta o \$OneMillion-Bench, um novo benchmark composto por 400 tarefas curadas por especialistas em áreas como Direito, Finanças e Saúde, projetado para avaliar a confiabilidade e a profundidade profissional de agentes de linguagem em cenários complexos do mundo real que exigem raciocínio de longo prazo e uso de ferramentas, superando as limitações dos testes existentes.
O artigo apresenta o MJ1, um juiz multimodal de 3B parâmetros treinado com aprendizado por reforço que, ao impor uma cadeia de verificação fundamentada e consistência contrafactual, supera modelos muito maiores no benchmark MMRB2, demonstrando que a verificação fundamentada e o treinamento baseado em consistência melhoram significativamente o julgamento multimodal sem aumentar a escala do modelo.
O artigo apresenta o SmartThinker, um método de raciocínio eficiente baseado em GRPO que utiliza calibração progressiva do comprimento do pensamento em cadeia para reduzir a redundância e melhorar a precisão dos modelos de linguagem grandes, alcançando compressão de até 52,5% no comprimento das respostas e ganhos de até 16,6% em benchmarks desafiadores.
Este artigo propõe uma abordagem de busca de produto interno máximo (MIPS) amortizada que utiliza redes neurais, especificamente o SupportNet e o KeyNet, para prever diretamente as soluções ótimas ao modelar a função de suporte convexa dos vetores-chave, permitindo assim uma compressão eficiente de bancos de dados para distribuições de consultas específicas.
O artigo propõe o FedMomentum, um novo framework para ajuste fino federado de modelos de linguagem que utiliza decomposição em valores singulares (SVD) para agregar atualizações LoRA de forma estruturada e preservar o momentum do treinamento, superando as limitações de convergência e expressividade dos métodos existentes.
O artigo apresenta o CAMEL, uma lei de mistura consciente da capacidade que permite otimizar a seleção de dados para treinar grandes modelos de linguagem de forma eficiente, reduzindo custos computacionais em 50% e melhorando o desempenho em até 3% através da previsão de desempenho em modelos maiores.
O artigo apresenta o GCGNet, uma Rede Generativa Consistente em Grafos que supera as limitações dos métodos existentes ao modelar simultaneamente correlações temporais e entre canais de variáveis exógenas de forma robusta a ruídos, utilizando um gerador variacional, um alinhador de estrutura de grafos e um refinador para alcançar desempenho superior em previsões de séries temporais.
O artigo apresenta o CDRRM, um modelo de recompensa escalável e interpretável que utiliza um paradigma de "contraste-síntese" para gerar rubricas de alta qualidade a partir de poucos dados, superando os vieses e limitações das abordagens tradicionais de alinhamento de LLMs.
Este artigo apresenta o SFed-LoRA, um novo framework de aprendizado federado que deriva um fator de escala ótimo para mitigar a instabilidade e o colapso de gradiente na adaptação de baixo rank (LoRA) causados pela agregação de múltiplos clientes, permitindo assim a eficácia de ranks elevados sem alterar a arquitetura do modelo ou aumentar a latência de inferência.
Este estudo propõe um framework de aprendizado profundo baseado em adaptação de domínio adversarial que permite a transferência eficaz de conhecimento entre conjuntos de dados de RNA-seq heterogêneos, melhorando significativamente a precisão na classificação de tipos de câncer e tecidos, especialmente em cenários com dados limitados.
O artigo apresenta a Deterministic Differentiable Pruning (DDP), um método de poda estruturada determinístico para Grandes Modelos de Linguagem que elimina a aleatoriedade das abordagens anteriores, resultando em menor discrepância entre treinamento e teste, maior expressividade e melhor desempenho em tarefas downstream com redução de custos de inferência.
Este artigo propõe uma arquitetura híbrida quântico-clássica que integra um Circuito Quântico Variacional a uma rede GRU para prever múltiplos sinais fisiológicos em horizontes de tempo curtos, demonstrando precisão competitiva e maior robustez a ruídos e dados faltantes em cenários clínicos de pequeno porte.
Este artigo propõe e avalia o modelo Autoregressive TRM, descobrindo que, embora mecanismos de refinamento em duas etapas mostrem potencial, a arquitetura específica do Autoregressive TRM não oferece ganhos de desempenho confiáveis em comparação com modelos autoregressivos padrão em tarefas algorítmicas de nível de caractere.
O artigo apresenta o EAGLE-Pangu, um sistema reprodutível que implementa decodificação especulativa em árvore segura para aceleradores em NPUs Ascend com backend Pangu, alcançando um aumento médio de 1,27x no throughput de decodificação em comparação com a decodificação greed-only do modelo professor.
Este artigo apresenta o framework DC-W2S, que utiliza um mecanismo de consenso duplo para filtrar sinais de supervisão ruidosa e treinar modelos de recompensa de processo robustos para raciocínio biológico, eliminando a necessidade de anotação extensiva por especialistas.
Este artigo demonstra que é possível criar uma ameaça de segurança invisível em modelos de linguagem grandes (LLMs) ao ajustá-los para usar esteganografia, permitindo que gerem respostas maliciosas ocultas dentro de conversas aparentemente benignas, contornando assim os mecanismos de segurança e filtros de conteúdo.
O artigo apresenta o Tau-BNO, um modelo substituto baseado em operadores neurais que acelera drasticamente a simulação da propagação de proteínas tau no cérebro, superando os desafios computacionais do Modelo de Transporte de Rede (NTM) e permitindo inferência de parâmetros e descoberta de mecanismos com alta precisão.
O artigo propõe o ROMI, um método de aprendizado por reforço offline baseado em modelo que supera as limitações de conservadorismo excessivo e instabilidade do RAMBO ao introduzir uma abordagem de aprendizado de modelo robusta e consciente do valor, utilizando um esquema de otimização bi-nível com ponderação adaptativa implicitamente diferenciável para garantir atualizações estáveis e melhor generalização fora da distribuição.
O artigo apresenta o SaiVLA-0, uma arquitetura de Visão-Linguagem-Ação inspirada na neurociência que utiliza uma estrutura tripartida (Cérebro-Ponte-Cerebelo) para criar um sistema modular e consciente de computação, capaz de reduzir o tempo de treinamento e aumentar significativamente a taxa de sucesso em tarefas robóticas.