1071 artigos
Este artigo demonstra que a adaptação de baixo rank (LoRA) reduz significativamente a memorização indesejada em modelos de linguagem grandes treinados por aprendizado federado, preservando o desempenho e podendo ser combinada com outras técnicas de privacidade para proteger dados sensíveis em domínios críticos.
O artigo apresenta o LaVCa, uma abordagem baseada em modelos de linguagem grandes (LLMs) que gera legendas em linguagem natural para descrever com maior precisão e detalhe a seletividade de voxels no córtex visual humano, superando métodos anteriores e revelando diferenciações funcionais de alta granularidade.
Este artigo propõe o framework COD (Clustering-On-Difficulty), que agrupa tarefas por características de escalabilidade de dificuldade para prever com alta precisão o desempenho de modelos de linguagem grandes em benchmarks downstream, superando as limitações das metodologias atuais devido ao fenômeno de emergência e à variabilidade de métricas.
O artigo propõe o HaLoRA, um método de adaptação de baixo rank consciente de hardware que combina pesos pré-treinados em memória RRAM ruidosa com ramos LoRA treinados para robustez em SRAM silenciosa, permitindo a execução eficiente de modelos de linguagem grandes com economia de energia de até 97% e ganhos significativos de precisão.
Este estudo revela que, embora os Grandes Modelos de Linguagem (LLMs) superrepresentem personagens femininas em suas histórias geradas devido ao ajuste fino e ao aprendizado por reforço, eles continuam a alocar essas personagens em ocupações que refletem estereótipos de gênero humanos em vez da realidade do mercado de trabalho, evidenciando um paradoxo que exige medidas de mitigação equilibradas para promover a equidade.
O artigo apresenta o EDU-PRM, um novo modelo de recompensa de processo baseado em entropia que elimina a necessidade de anotações manuais ao segmentar automaticamente os passos de raciocínio em pontos de alta incerteza, alcançando desempenho superior com apenas 1,5% dos dados de treinamento e reduzindo o uso de tokens em 32%.
O artigo apresenta o CAWAI, um modelo de recuperação de informações treinado com objetivos duais de semântica e causalidade que supera os métodos existentes em tarefas de recuperação causal e demonstra forte generalização zero-shot em domínios científicos.
Este estudo demonstra que, embora a estimativa direta de dificuldade de itens educacionais por modelos de linguagem grandes (LLMs) seja promissora, a abordagem que combina a extração de características cognitivas e linguísticas via LLM com algoritmos de aprendizado de máquina baseados em árvores (como florestas aleatórias e gradient boosting) alcança maior precisão preditiva para itens de matemática e leitura do ensino fundamental, oferecendo um fluxo de trabalho eficiente para reduzir a dependência de testes de campo extensivos.
Este artigo apresenta a Tarefa 5 do Desafio DCASE 2025, um benchmark de Resposta a Perguntas sobre Áudio (AQA) que abrange múltiplos domínios acústicos para avaliar e avançar as capacidades de raciocínio de modelos de linguagem-audio em direção à acuidade humana.
O artigo apresenta o FreeKV, um framework de co-otimização entre algoritmo e sistema que, ao utilizar recuperação especulativa e layouts híbridos de memória, melhora drasticamente a eficiência da inferência de LLMs em contextos longos sem sacrificar a precisão.
O artigo propõe uma abordagem neuro-simbólica que combina a recuperação de problemas análogos e a verificação formal com feedback para superar as limitações de raciocínio lógico dos LLMs, demonstrando melhorias significativas na precisão da geração de provas em geometria euclidiana.
O artigo apresenta o MAS-ZERO, um framework inovador de auto-evolução que projeta, critica e refina dinamicamente sistemas multiagentes em tempo de inferência sem supervisão, superando abordagens manuais e automáticas existentes em tarefas de raciocínio, codificação e agentes autônomos.
O artigo apresenta o HDLxGraph, um novo framework que integra características gráficas de Hardware Description Languages (HDLs), como Árvores de Sintaxe Abstrata e Grafos de Fluxo de Dados, a sistemas de Geração Aumentada por Recuperação (RAG) para superar limitações em tarefas de LLM, validado pelo novo benchmark HDLSearch e demonstrando melhorias significativas na precisão de busca, depuração e conclusão de código em comparação com métodos existentes.
O artigo apresenta o SwingArena, um novo framework de avaliação competitiva para modelos de linguagem grande que simula fluxos de trabalho reais de desenvolvimento de software, utilizando um módulo de geração de código aumentado por recuperação para resolver problemas de longo contexto no GitHub e comparar o desempenho de diferentes modelos na geração de correções e validação de testes.
O artigo apresenta o MMTU, um benchmark em larga escala com mais de 28 mil questões em 25 tarefas do mundo real, projetado para avaliar de forma abrangente a capacidade de modelos de linguagem de entender, raciocinar e manipular tabelas em nível especializado, revelando que mesmo os modelos mais avançados atuais enfrentam desafios significativos nessa área.
O artigo apresenta o CyclicReflex, uma estratégia de decodificação sem treinamento que melhora o desempenho de modelos de raciocínio ao aplicar um agendamento cíclico e adaptativo dos tokens de reflexão, otimizando o uso de recursos computacionais durante a inferência.
O artigo apresenta o MeRF, um método que aprimora o ajuste fino por reforço de modelos de raciocínio grandes ao injetar a especificação da função de recompensa no prompt como uma "motivação" em contexto, alinhando a geração do modelo ao objetivo de otimização e resultando em ganhos de desempenho significativos.
O artigo propõe o método SGV (Self-Grounded Verification) para mitigar o viés de concordância em Verificadores de LLMs Multimodais, permitindo que eles gerem priores independentes antes de avaliar trajetórias, o que resulta em detectores de falhas mais precisos e alinhados com humanos, melhorando significativamente o desempenho de agentes em tarefas de navegação web, uso de computador e robótica.
O artigo apresenta o framework UGST (User Goal State Tracking), uma metodologia inovadora que permite aos simuladores de usuários baseados em LLMs rastrear e alinhar seu comportamento com objetivos específicos durante conversas, resultando em melhorias significativas em benchmarks como MultiWOZ 2.4 e τ-Bench.
O artigo apresenta o MathSmith, um novo framework que gera problemas matemáticos sintéticos de alta dificuldade a partir do zero, utilizando estratégias de restrição e aprendizado por reforço para superar a escassez de dados de treinamento e melhorar significativamente o raciocínio de modelos de linguagem em benchmarks complexos.