9547 artigos
Este artigo investiga o fenômeno de aprendizado subliminar em modelos de linguagem, demonstrando que a transferência de vieses ocultos durante a destilação ocorre principalmente através de um pequeno conjunto de "tokens de divergência" em camadas iniciais, sendo um processo frágil que pode ser suprimido por pequenas alterações nos prompts.
O artigo apresenta o BeyondBench, um novo framework de avaliação que utiliza geração algorítmica dinâmica para criar problemas matemáticos inéditos e não contaminados, permitindo uma medição precisa das capacidades de raciocínio de 101 modelos de linguagem e revelando deficiências significativas em tarefas complexas.
O artigo apresenta o SphereAR, um modelo de geração de imagens autoregressivo que utiliza latentes em hiperesfera para estabilizar a decodificação e eliminar o colapso de variância, alcançando desempenho superior ao estado da arte em modelos de difusão e geração mascarada com escalas de parâmetros comparáveis.
Este artigo estabelece limites superiores explícitos para a distância de Wasserstein quadrática entre redes neurais de camada única treinadas por descida de gradiente e seus processos gaussianos associados no limite de largura infinita, demonstrando um decaimento polinomial do erro de aproximação em função da largura da rede e quantificando a influência dos parâmetros arquitetônicos e da dinâmica de treinamento.
Este artigo apresenta uma abordagem inovadora para o pré-treinamento estável e preciso de modelos de linguagem grandes no formato NVFP4, que combina transformadas de Hadamard aleatórias, esquemas de quantização bidimensionais e arredondamento estocástico para alcançar desempenho comparável ao FP8 em um modelo de 12 bilhões de parâmetros treinado com 10 trilhões de tokens.
O OPPO é um framework leve e agnóstico ao modelo que acelera o treinamento de RLHF baseado em PPO em até 2,8 vezes e melhora a utilização da GPU através de técnicas inovadoras de sobreposição intra e inter-etapas, mitigando ineficiências causadas por dependências sequenciais e latências de cauda sem comprometer a convergência.
O VidGuard-R1 é um detector pioneiro de vídeos gerados por IA que utiliza otimização de política relativa em grupo (GRPO) e modelos de recompensa especializados para superar as limitações de conjuntos de dados estáticos, alcançando desempenho de última geração e fornecendo explicações forenses baseadas em raciocínio físico.
Este trabalho estabelece limites não assintóticos para a eficiência da regressão conformalizada via SGD, quantificando como o tamanho do conjunto de previsão depende conjuntamente dos tamanhos dos conjuntos de treinamento e calibração e do nível de não cobertura, revelando transições de fase nas taxas de convergência que orientam a alocação de dados.
Este trabalho demonstra empiricamente que, ao utilizar uma calibração adequada de temperatura softmax, simplesmente aumentar a largura do modelo é suficiente para alcançar a conectividade linear de modos (LMC) sem a necessidade de permutações de parâmetros, explicando esse fenômeno através da conectividade exponencialmente ponderada por camadas (LEWC) que faz com que o modelo fundido corresponda a um ensemble dos modelos originais.
Este artigo apresenta o XFactor, o primeiro modelo auto-supervisionado sem geometria capaz de verdadeira síntese de novas vistas, demonstrando que a transferibilidade de poses entre cenas é alcançável sem viéses 3D explícitos ou conceitos de geometria multivista.
O artigo apresenta o CBF-RL, um framework que integra Funções de Barreira de Controle (CBFs) durante o treinamento de Aprendizado por Reforço para internalizar restrições de segurança na política aprendida, permitindo a implantação segura em robôs reais, como o Unitree G1, sem a necessidade de filtros de segurança em tempo real.
Este trabalho apresenta o B-ODIL, uma extensão bayesiana do método de otimização de perda discreta (ODIL) para resolver problemas inversos baseados em equações diferenciais parciais, permitindo a inferência de soluções com incertezas quantificadas, como demonstrado em benchmarks sintéticos e na estimativa da concentração de tumores cerebrais a partir de ressonâncias magnéticas.
O artigo apresenta o Schrödinger Bridge Mamba (SBM), um modelo inovador que combina o paradigma de Ponte de Schrödinger com a arquitetura Mamba para realizar aprimoramento de fala de alta qualidade em uma única etapa de inferência, superando métodos existentes em tarefas de remoção de ruído e reverberação com eficiência em tempo real.
Este artigo demonstra que as defesas atuais contra sequestro de fluxo de controle em sistemas multiagente são vulneráveis devido a conflitos fundamentais entre segurança e funcionalidade, propondo e avaliando o ControlValve, uma nova defesa que impõe integridade de fluxo de controle e o princípio do menor privilégio através de grafos de execução permitidos e regras contextuais.
Este artigo estabelece teoricamente que a geometria dos dados determina a capacidade de generalização de redes neurais ReLU superparametrizadas treinadas abaixo do limite de estabilidade, demonstrando que dados mais difíceis de "fragmentar" favorecem a aprendizagem de padrões compartilhados, enquanto dados facilmente fragmentáveis levam à memorização.
Este artigo apresenta um quadro rigoroso para testar a influência excessiva de subconjuntos de dados em modelos de mínimos quadrados lineares, derivando fórmulas exatas e distribuições de valores extremos que permitem testes de hipóteses formais para substituir heurísticas ad hoc em diversas áreas.
O artigo apresenta o LLEMA, um framework unificado que combina o conhecimento de modelos de linguagem grandes com regras evolutivas e refinamento baseado em memória para descobrir materiais multiobjetivo quimicamente plausíveis e termodinamicamente estáveis com maior eficiência do que as abordagens existentes.
Este artigo propõe um método de amostragem adaptativa para o treinamento de Redes Neurais Informadas por Física (PINNs) que utiliza heurísticas específicas do problema para resolver com precisão as regiões interfaciais na equação de Allen-Cahn, demonstrando superioridade em relação a frameworks baseados apenas em resíduos.
O artigo apresenta o FMint-SDE, um modelo de fundação multimodal baseado em transformadores que utiliza aprendizado em contexto e correção de erros para acelerar e aprimorar a precisão da simulação de equações diferenciais estocásticas em diversos domínios científicos, superando as limitações de eficiência e generalização dos métodos tradicionais.
O MotionStream é um sistema de geração de vídeo em tempo real que, ao combinar controle de movimento interativo com uma arquitetura de atenção causal e técnicas de destilação, permite a criação de vídeos de duração ilimitada com latência subsegundo e alta qualidade em uma única GPU.