6193 artigos
O artigo propõe o "In-Context RLVR", um método que utiliza a capacidade de aprendizado em contexto do próprio modelo para medir a utilidade das demonstrações e reponderar implicitamente as recompensas, priorizando traços de raciocínio de alta qualidade e melhorando assim tanto a precisão quanto a qualidade do raciocínio em benchmarks matemáticos.
Este artigo apresenta o "pseudo-projetor", uma modificação leve inspirada no paradigma multigrid que atua como um corretor de representações ocultas para reduzir a sensibilidade ao ruído e melhorar a dinâmica de treinamento e a robustez em modelos baseados em transformers, sem alterar sua arquitetura central.
Este artigo apresenta um novo framework hierárquico de aprendizado multi-tarefa e multi-fidelidade baseado em processos gaussianos que unifica a exploração de similaridades entre tarefas e a heterogeneidade dos dados para criar modelos substitutos mais precisos e eficientes em termos de dados para sistemas de manufatura.
Este artigo apresenta o HR-GAT, um modelo de rede de atenção hierárquica baseado em grafos que utiliza dados geoespaciais para prever a demanda de espectro com 21% mais precisão que modelos existentes, superando desafios de autocorrelação espacial em cinco cidades canadenses.
O artigo apresenta o GAST, um método inovador de ajuste fino eficiente em parâmetros que otimiza simultaneamente a seleção de dados e de camadas em modelos de linguagem grandes, superando as abordagens existentes ao adaptar dinamicamente os pontos de dados mais impactantes para cada camada específica.
O artigo apresenta o CarbonBench, o primeiro benchmark global padronizado que utiliza mais de 1,3 milhão de observações de fluxos de carbono para avaliar e comparar rigorosamente métodos de aprendizado zero-shot na generalização espacial de modelos de troca de carbono terrestre entre diferentes ecossistemas e regimes climáticos.
O artigo propõe o MSSR, um framework de replay adaptativo que estima a força de memória em nível de amostra e agenda a reutilização de dados em intervalos dinâmicos para mitigar o esquecimento catastrófico durante o ajuste contínuo de grandes modelos de linguagem, superando os métodos existentes em eficiência e desempenho.
O artigo apresenta o OptEMA, um otimizador adaptativo baseado em Média Móvel Exponencial que, ao eliminar a necessidade de constantes de Lipschitz e parâmetros pré-definidos, garante taxas de convergência quase ótimas no regime sem ruído e adaptativas ao nível de ruído sob condições padrão de descida de gradiente estocástica.
Este artigo estabelece que a modelagem generativa via derivação (drifting) é teoricamente equivalente ao *score matching*, revelando suas bases variacionais e espectrais para explicar limitações de kernels, propor um novo esquema de annealing de banda e justificar a necessidade do operador *stop-gradient* para treinamento estável.
O artigo apresenta o SignalMC-MED, um novo benchmark multimodal baseado em dados sincronizados de ECG e PPG de longa duração para avaliar modelos fundamentais de biosinais, demonstrando que a fusão multimodal e o uso de sinais completos superam abordagens unimodais e segmentos curtos, enquanto características manuais de ECG oferecem um forte baseline complementar.
Este artigo apresenta o Indicador de Superajuste-Subajuste (OUI) como um sinal estrutural precoce e eficiente para identificar taxas de aprendizado ideais em algoritmos PPO, demonstrando que a análise das ativações neuronais permite descartar execuções promissoras muito antes do término do treinamento com maior precisão do que métricas tradicionais.
Este trabalho apresenta os "neural debuggers", modelos de linguagem que emulam depuradores tradicionais permitindo controle interativo sobre a execução de código Python, superando as limitações dos interpretadores neurais existentes e estabelecendo as bases para sistemas de codificação autônomos mais avançados.
Este artigo propõe uma nova família de normas de operador normalizadas por média que permitem o controle independente da largura das constantes de Lipschitz e suavidade, resultando no otimizador MOGA, que garante transferência estável de taxas de aprendizado entre diferentes larguras de modelo e supera o Muon em regimes de baixa perda e grandes tokens.
O artigo apresenta o C2FMAE, um autoencoder mascarado de coarse-to-fine que resolve a tensão entre aprendizado de semântica global e detalhes locais ao aprender representações visuais hierárquicas através de um decodificador em cascata e um currículo de mascaramento progressivo, resultando em ganhos significativos em tarefas de visão computacional.
O estudo demonstra que, ao contrário do comportamento humano, o raciocínio em modelos de linguagem aumenta consistentemente a honestidade, não apenas pelo conteúdo do pensamento, mas porque o processo de geração de tokens deliberativos navega por um espaço representacional onde as respostas enganosas são metaestáveis e mais facilmente destabilizadas do que as honestas.
Este artigo demonstra que, em cenários de dados realistas com características correlacionadas, a superposição em redes neurais pode organizar-se de forma a transformar interferências em efeitos construtivos, gerando agrupamentos semânticos e estruturas cíclicas que não são explicadas pelo modelo tradicional de superposição baseado em características não correlacionadas.
O artigo apresenta o framework TAM-RL, que combina aprendizado de representação espaço-temporal com restrições físicas baseadas na equação de balanço de carbono para melhorar significativamente a precisão e a generalização da escala global de fluxos de carbono terrestres.
Este artigo apresenta duas abordagens de detecção de pontos de mudança baseadas em redes neurais e aprendizado online, que possuem complexidade computacional linear, superam os métodos existentes em diversos conjuntos de dados e são provadas convergir para soluções ótimas.
Os autores propõem uma extensão do modelo semi-paramétrico BART que permite covariáveis compartilhadas entre os componentes linear e não paramétrico, resolvendo problemas de não identificabilidade e viés para capturar interações complexas, com validação em simulações e dados de avaliação educacional internacional.
Este artigo apresenta um framework de Máquina de Vetores de Suporte (SVM) de caixa branca otimizado por algoritmos de enxame para a supervisão em tempo real de fresas dentadas, utilizando características de vibrações do eixo e seleção de recursos para monitorar falhas e desgaste das ferramentas.