11309 artigos
Este artigo demonstra teoricamente que o alinhamento baseado em RLHF é superficial porque os gradientes de treinamento desaparecem após o ponto em que o dano é determinado, e propõe uma nova função objetivo baseada em penalidades de recuperação para garantir sinais de gradiente em todas as posições da sequência.
O artigo apresenta o ataque de "Osmosis Distillation", uma nova estratégia de sequestro de modelo que demonstra como um adversário pode comprometer modelos de aprendizado por transferência usando apenas algumas amostras envenenadas em conjuntos de dados sintetizados por destilação, mantendo ao mesmo tempo a utilidade do modelo nas tarefas originais.
O artigo apresenta o ReCouPLe, um framework leve que utiliza raciocínios em linguagem natural para fornecer sinais causais e aprender recompensas robustas a partir de feedback de preferência, permitindo a transferência de conhecimento para novas tarefas e melhorando significativamente a precisão e o desempenho sob mudanças de distribuição.
Este estudo apresenta um modelo interpretável que alcança 80,4% de precisão na antecipação de oito tipos de arremessos de beisebol a partir de sequências de pose 3D em broadcast, revelando que a mecânica do tronco e do pulso são os principais preditores e estabelecendo um limite empírico de aproximadamente 80% para a distinção de variantes baseadas apenas no movimento corporal.
Este artigo apresenta uma análise teórica unificada que demonstra como o ruído adicionado pelo DP-SGD em redes neurais degrada o aprendizado de características, comprometendo a justiça, a robustez adversarial e a eficácia do ajuste fino com pré-treinamento público devido a desequilíbrios na razão sinal-ruído das características.
O artigo propõe o FedAFD, um quadro unificado de aprendizado federado multimodal que utiliza alinhamento adversarial, fusão adaptativa e destilação guiada por similaridade para superar desafios de heterogeneidade de dados e modelos, melhorando o desempenho tanto no cliente quanto no servidor.
Este artigo demonstra que, para dados aleatórios de alta dimensão, o viés implícito do gradiente descendente no treinamento de modelos ReLU rasos aproxima-se com alta probabilidade da solução de norma L2 mínima, com um desvio na ordem de , através de uma nova análise primal-dual que rastreia a estabilização dos padrões de ativação ReLU.
Este trabalho apresenta o U-Parking, um sistema de estacionamento autônomo distribuído que utiliza Ultra-Wideband (UWB) para localização robusta e planejamento assistido por Modelos de Linguagem Grande (LLMs), permitindo manobras confiáveis em ambientes internos desafiadores.
O artigo apresenta o VPWEM, uma política visuomotora não markoviana que integra memórias de trabalho e episódicas por meio de um compressor contextual baseado em Transformer, permitindo que robôs aprendam tarefas de manipulação complexas com memória de longo prazo de forma eficiente e superando significativamente os métodos atuais.
O artigo apresenta o EVMbench, um benchmark que avalia a capacidade de agentes de IA de detectar, corrigir e explorar vulnerabilidades em contratos inteligentes, demonstrando que os modelos atuais conseguem realizar esses ataques de ponta a ponta em ambientes de blockchain reais.
O artigo apresenta o BandPO, um novo método de otimização para aprendizado por reforço em LLMs que substitui o recorte fixo do PPO por limites dinâmicos baseados em divergências f para mitigar o colapso de entropia e melhorar a estabilidade do treinamento.
Este artigo propõe o framework SC-USFL, que integra comunicação semântica ao aprendizado federativo dividido em redes veiculares para reduzir a sobrecarga de comunicação e preservar a privacidade das etiquetas, adaptando-se dinamicamente às condições do canal sem fio.
Este artigo apresenta a criação de um conjunto de dados específico para detecção e rastreamento de pessoas por LiDAR em visão aérea de guindastes industriais, avaliando e adaptando detectores 3D e algoritmos de rastreamento para superar o deslocamento de domínio e demonstrar a viabilidade em tempo real dessa aplicação.
O artigo apresenta o -Reasoner, um novo framework que integra otimização diferenciável no espaço latente durante a inferência para refinar o raciocínio de modelos de linguagem, alcançando melhorias significativas de precisão e eficiência em tarefas matemáticas complexas.
O artigo apresenta o TimeWarp, um benchmark que avalia a robustez de agentes web diante de mudanças no design e layout da internet, e propõe o algoritmo TimeTraj, que utiliza destilação de planos em múltiplas versões de interface para superar as limitações da clonagem de comportamento tradicional e melhorar significativamente o desempenho de modelos como Qwen-3 e Llama-3.1.
Este estudo demonstra que modelos baseados em Transformers com cabeças de saída evidenciais oferecem a estrutura mais eficaz para previsão de glicose no sangue e quantificação de incerteza em pacientes com diabetes tipo 1, superando arquiteturas LSTM e GRU em precisão e calibração de riscos clínicos.
O artigo apresenta o WaterSIC, um novo algoritmo de quantização linear que, ao alocar taxas de quantização variáveis para diferentes colunas da matriz de pesos inspirando-se no princípio de "waterfilling", alcança um desempenho próximo ao limite teórico da informação e supera os métodos atuais em modelos de linguagem como Llama e Qwen.
O estudo demonstra que reproduzir dados genéricos durante o ajuste fino (fine-tuning) de modelos de linguagem, em vez de apenas misturá-los para evitar o esquecimento catastrófico, melhora significativamente a eficiência dos dados e o desempenho em tarefas de domínio específico.
O artigo apresenta o Mixture of Universal Experts (MOUE), uma generalização de MoE que introduz a "largura virtual" ao reutilizar um pool universal de especialistas entre camadas, superando desafios de roteamento e balanceamento de carga para alcançar ganhos de desempenho superiores aos modelos MoE tradicionais.
Este artigo propõe um método de fusão de grandes modelos de linguagem (LLMs) baseado na média de Karcher no manifold de Fisher-Rao, que supera as limitações das abordagens heurísticas no espaço de parâmetros ao preservar a funcionalidade e evitar o colapso de representações, especialmente ao combinar múltiplos modelos heterogêneos.