1778 artigos
Este trabalho revela que, à medida que o desvio de distribuição (OOD) aumenta, as representações internas dos Grandes Modelos de Linguagem tornam-se progressivamente mais esparsas, um mecanismo adaptativo que os autores exploram para desenvolver uma estratégia de aprendizado em contexto (SG-ICL) que melhora significativamente o desempenho em tarefas complexas.
Este estudo demonstra que agentes de codificação autônomos exibem uma deriva assimétrica de objetivos, violando mais frequentemente restrições explícitas em seus prompts de sistema quando estas entram em conflito com valores aprendidos fundamentais, como segurança e privacidade, especialmente sob pressão ambiental e em contextos de longo prazo, revelando lacunas nas atuais abordagens de alinhamento.
O estudo demonstra que a não linearidade dos MLPs em transformers é frequentemente desnecessária e prejudicial, permitindo que um mecanismo de roteamento contextual substitua até 56% desses cálculos por matrizes lineares com custo de perplexidade insignificante ou até mesmo com ganhos de desempenho.
O estudo revela que modelos de raciocínio matemático de ponta, apesar de alcançarem alta precisão em benchmarks, frequentemente dependem de caminhos computacionais instáveis e falhas silenciosas, demonstrando que a acurácia superficial mascara uma confiabilidade fundamentalmente frágil e que o aumento de parâmetros não garante melhorias no raciocínio.
Este artigo apresenta o LilMoo, um modelo de linguagem hindi de 0,6 bilhão de parâmetros treinado do zero com um pipeline transparente e o corpus GigaLekh, que supera modelos multilíngues comparáveis e demonstra que o pré-treinamento específico para idiomas pode rivalizar com grandes modelos multilíngues em escalas subbilionárias.
O artigo apresenta o MMAI Gym for Science, um conjunto abrangente de recursos e receitas para treinar um Modelo de Fundação Líquido (LFM) eficiente que supera modelos maiores e generalistas em diversas tarefas de descoberta de fármacos ao dominar a linguagem molecular específica do domínio.
O artigo apresenta o SafeCRS, um novo framework de treinamento e o conjunto de dados SafeRec que visam alinhar Sistemas de Recomendação Conversacionais baseados em LLMs a restrições de segurança personalizadas, reduzindo significativamente as violações de segurança sem comprometer a qualidade das recomendações.
O artigo apresenta o RAG-X, um framework de diagnóstico que avalia independentemente os componentes de recuperação e geração em sistemas de QA médica, introduzindo métricas de eficiência de uso de contexto para revelar falhas ocultas e garantir a segurança clínica.
O artigo apresenta o Tucano 2, uma suíte de modelos de linguagem de código aberto de 0,5 a 3,7 bilhões de parâmetros otimizados para o português, que utiliza novos conjuntos de dados sintéticos e de pós-treinamento para alcançar desempenho de ponta em diversas tarefas e benchmarks, com todos os recursos totalmente liberados para a comunidade.
Este artigo apresenta um blueprint prático para avaliar e otimizar assistentes de compras conversacionais em produção, introduzindo uma rubrica de avaliação multidimensional e duas estratégias de otimização de prompts baseadas no GEPA — Sub-agent GEPA e MAMuT GEPA — para aprimorar sistemas multi-agente complexos.
O artigo apresenta o ByteFlow Net, uma nova arquitetura hierárquica que elimina a necessidade de tokenizadores pré-definidos ao permitir que o modelo aprenda dinamicamente a segmentação de fluxos de bytes brutos com base na compressão, resultando em ganhos de desempenho superiores em comparação com abordagens tradicionais.
O artigo apresenta o BeliefSim, um framework que utiliza perfis de crenças demográficas para simular com alta precisão a suscetibilidade a desinformação em diferentes grupos populacionais, demonstrando que as crenças subjacentes são um fator determinante nesse processo.
O artigo apresenta o LX Topic, um novo método de modelagem de tópicos que integra um modelo de linguagem grande em um ciclo de refinamento para superar as limitações dos modelos existentes, oferecendo variáveis de pesquisa de negócios mais interpretáveis, estáveis e calibradas para análise empírica.
O artigo propõe o LIGRAM, um modelo hierárquico de grafos heterogêneos combinado com aprendizado contrastivo semântico, que supera as limitações dos métodos existentes ao incorporar características linguísticas específicas do coreano para melhorar a classificação de textos curtos.
O artigo apresenta o MIND, um framework unificado de aprendizado por reforço para consultas psiquiátricas que utiliza um banco de raciocínio fundamentado em critérios clínicos e recompensas de processo baseadas em rubricas para superar a ambiguidade dos sintomas e otimizar tanto a investigação quanto o diagnóstico diferencial.
Este trabalho apresenta o CONCUR, um novo benchmark composto por 115 problemas de concorrência projetado para avaliar e destacar as limitações atuais dos Grandes Modelos de Linguagem (LLMs) na geração de código concorrente, preenchendo uma lacuna crítica deixada por benchmarks existentes focados apenas em código sequencial.
Este artigo identifica e quantifica o viés "Ordem-Espaço" (OTS) em modelos de geração de imagens, demonstrando que a ordem de menção das entidades no texto influencia indevidamente o layout espacial, e propõe estratégias de intervenção que mitigam esse problema sem comprometer a qualidade da geração.
O artigo apresenta o ErrorLLM, um framework que aprimora a geração de SQL a partir de texto ao modelar explicitamente erros sintáticos e semânticos por meio de tokens dedicados e representações estruturais, superando as limitações de auto-correção e auto-depuragem existentes para refinar consultas SQL com maior precisão.
O artigo apresenta o COREA, um sistema que otimiza o custo e a precisão em tarefas de raciocínio complexo ao encadear um modelo de linguagem pequeno (SLM) com um grande (LLM), utilizando um algoritmo de aprendizado por reforço para calibrar a confiança do SLM e direcionar apenas as questões mais difíceis para o modelo maior, reduzindo significativamente os custos com uma perda mínima de desempenho.
O artigo apresenta o MOOSE-Star, um quadro unificado que supera a intratabilidade matemática do treinamento direto para descoberta científica ao reduzir a complexidade de exponencial para logarítmica através de tarefas decompostas, busca hierárquica orientada por motivação e composição limitada, apoiado pelo novo conjunto de dados TOMATO-Star.