2384 artigos
O artigo apresenta o HTMuon, um otimizador que melhora o treinamento de modelos de linguagem grandes ao corrigir a supressão de espectros de pesos de cauda pesada no Muon original, resultando em melhor desempenho e fundamentação teórica baseada na teoria de auto-regularização de cauda pesada.
O artigo apresenta o ADVERSA, um framework automatizado de red-teaming que avalia a degradação contínua das barreiras de segurança e a confiabilidade dos juízes em modelos de linguagem durante interações adversariais de múltiplas rodadas, revelando que as violações de segurança tendem a ocorrer precocemente e destacando desafios como a deriva do atacante e a inconsistência de julgamento.
Este estudo aplica autoencoders esparsos ao modelo Chronos-T5-Large para revelar uma hierarquia causal de características em séries temporais, demonstrando que os recursos mais críticos para a previsão residem nas camadas intermediárias de detecção de mudanças abruptas, e não nas camadas finais semanticamente mais ricas.
Este estudo analisa 319 correções geradas por LLMs para vulnerabilidades de segurança em Java, revelando que a maioria falha devido a mal-entendidos semânticos e propondo uma nova métrica (SRS) que evidencia a dificuldade dos modelos em corrigir falhas de segurança sem comprometer a funcionalidade.
O artigo demonstra que redes neurais aprendem primeiro a distribuição marginal de uma tarefa ambígua, estabilizando-se em um platô de erro determinado pelo nível de ambiguidade, antes de sofrer uma transição abrupta para a solução condicional completa, um processo governado pelo ruído do gradiente e pela formação antecipada de um mecanismo de roteamento seletor.
O artigo propõe o TASER, um framework de defesa descentralizado para enxames de UAVs que utiliza a concentração espectral para suprimir ataques de backdoor furtivos, preservando coeficientes relevantes para a tarefa principal e descartando os demais, superando assim as limitações das defesas baseadas em detecção de outliers.
O artigo propõe o "Amnesia", um ataque adversarial leve que manipula os estados internos de modelos de linguagem grandes (LLMs) para contornar mecanismos de segurança existentes e induzir a geração de conteúdo prejudicial sem a necessidade de ajuste fino ou treinamento adicional.
O artigo apresenta o Multi-Level Concept Splitting (MLCS) e o Deep-HiCEMs, métodos que superam as limitações de hierarquias rasas ao descobrir hierarquias de conceitos multinível a partir de supervisão de alto nível e permitir intervenções em múltiplos níveis de abstração, mantendo alta precisão e interpretabilidade.
O KernelSkill é um framework multiagente que otimiza kernels de GPU substituindo heurísticas implícitas de modelos de linguagem por habilidades de especialistas baseadas em conhecimento e uma arquitetura de memória dupla, alcançando sucesso de 100% e acelerações significativas em relação ao Torch Eager e a métodos anteriores.
O artigo apresenta o ES-dLLM, um framework de aceleração de inferência sem treinamento para modelos de linguagem difusivos (dLLMs) que reduz o custo computacional ao pular tokens em camadas iniciais com base na variação de representações intermediárias e em scores de confiança, alcançando ganhos de velocidade significativos sem comprometer a qualidade da geração.
Este artigo propõe um ataque de perturbação de múltiplos fluxos que explora vulnerabilidades no modo de raciocínio de modelos de linguagem grandes ao intercalar tarefas concorrentes, resultando em altas taxas de sucesso em jailbreaks e na colapso ou repetição dos processos de pensamento.
Este artigo propõe o padrão de Execução Consciente de Sobrevivência (SAE), uma camada de middleware para sistemas de negociação com agentes estilo OpenClaw que impõe invariantes de segurança não bypassáveis para mitigar riscos de execução e proteger contra perdas irreversíveis causadas por prompts maliciosos ou cadeias de suprimentos de habilidades comprometidas.
O artigo apresenta o Equivariant Asynchronous Diffusion (EAD), um novo modelo de difusão que combina agendamento assíncrono e mecanismos de agendamento dinâmico para superar as limitações dos métodos existentes e alcançar desempenho state-of-the-art na geração de conformações moleculares 3D.
O artigo apresenta o Code-Space Response Oracles (CSRO), um novo framework que substitui os oráculos de aprendizado por reforço tradicionais por Grandes Modelos de Linguagem (LLMs) para gerar políticas multiagente interpretáveis na forma de código, permitindo a descoberta de estratégias complexas e explicáveis com desempenho competitivo.
O artigo propõe uma nova abordagem de "esparsidade suave" baseada em um proxy de bit significativo mais alto (MSB) integrada como instrução RISC-V personalizada, que reduz drasticamente as operações de multiplicação e acumulação (MACs) e o consumo de energia em CNNs para inferência em dispositivos de borda, superando significativamente os métodos tradicionais de esparsidade rígida sem perda de precisão.
O artigo apresenta o CLIPO, um método que generaliza o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) ao incorporar aprendizado contrastivo na otimização de políticas, permitindo que modelos de linguagem capturem a estrutura invariante de raciocínios corretos e, assim, mitiguem inconsistências e alucinações em etapas intermediárias, resultando em melhor generalização e robustez.
Este artigo demonstra que o fenômeno "Lost in the Middle" em modelos de linguagem é uma propriedade geométrica intrínseca dos decodificadores causais com conexões residuais, presente já na inicialização do modelo antes de qualquer treinamento ou uso de codificações posicionais, criando uma zona de influência negligenciável no meio do contexto devido à divergência logarítmica no início e a um ancoragem isolada no final.
O artigo propõe o AR-VLA, um especialista de ação autogressivo independente que mantém memória de longo prazo e utiliza um mecanismo de reancoragem para gerar trajetórias de ação mais suaves e consistentes no tempo, superando as limitações de contexto das políticas reativas tradicionais em tarefas de manipulação robótica.
O artigo propõe um sistema automatizado que utiliza agentes de IA especializados em um ciclo contínuo de otimização para aprimorar produtos de dados, equilibrando a automação com o controle humano para gerar ativos confiáveis e observáveis.
Este artigo propõe uma análise unificada da assimetria fundamental entre geração e reconhecimento em teoria das linguagens formais, identificando seis dimensões distintas (complexidade computacional, ambiguidade, direcionalidade, disponibilidade de informação, inferência de gramática e temporalidade) para demonstrar que a distinção clássica de "geração fácil, análise difícil" é enganosa e que a verdadeira assimetria reside no fato de que a análise é sempre restrita por uma entrada dada, enquanto a geração não necessariamente o é.