1975 artigos
Este artigo propõe um framework teórico de decomposição de ruído para analisar os modos de falha em tarefas de contexto longo com LLMs, demonstrando que estratégias de divisão e agregação (chunking) podem superar modelos mais avançados em processamento único ao gerenciar eficazmente a dependência entre partes, a confusão do modelo e a integração de resultados.
O artigo apresenta o LongWriter-Zero, um modelo de linguagem treinado exclusivamente por meio de aprendizado por reforço a partir de um modelo base, que supera métodos tradicionais de ajuste fino supervisionado e modelos maiores na geração de textos ultra-longos de alta qualidade, eliminando a necessidade de dados sintéticos ou anotados.
Este trabalho apresenta o TTSDS2, uma métrica aprimorada que supera todas as outras 15 comparadas ao correlacionar-se consistentemente com avaliações subjetivas em diversos domínios e idiomas, além de disponibilizar recursos abrangentes, incluindo um conjunto de dados com mais de 11.000 avaliações, um pipeline para evitar vazamento de dados e um benchmark atualizado para 14 idiomas.
O estudo conclui que, embora o Pós-Treinamento com Reforço (RPT) traga ganhos substanciais em tarefas semelhantes aos dados de ajuste fino, essas melhorias generalizam-se de forma inconsistente e podem desaparecer em domínios com padrões de raciocínio diferentes.
Este artigo demonstra que modelos cognitivos podem ser utilizados para revelar e analisar sistematicamente as compensações de valores em modelos de linguagem, permitindo diagnosticar comportamentos sociais e compreender como fatores como o esforço de raciocínio, prompts e o treinamento pós-inicial influenciam a alinhamento desses sistemas.
O artigo apresenta o DAPFAM, um novo conjunto de dados de nível familiar para patentes com divisões explícitas de domínio que revela uma lacuna significativa de desempenho na recuperação de arte anterior entre domínios diferentes, servindo como um teste reprodutível para o desenvolvimento de sistemas de recuperação de patentes mais robustos.
O artigo apresenta o XISM, uma ferramenta interativa que combina inferência orientada por dados e conhecimento especializado para gerar e refinar mapas semânticos, oferecendo uma abordagem colaborativa que equilibra escalabilidade e interpretabilidade na linguística tipológica.
O artigo apresenta o FrugalRAG, um framework de dois estágios que utiliza aprendizado por reforço para treinar modelos de linguagem pequenos na adaptação dinâmica do número de etapas de recuperação com base na dificuldade da pergunta, alcançando um equilíbrio superior entre precisão e eficiência em tarefas de resposta a perguntas de múltiplas etapas com poucos dados de treinamento.
Este artigo propõe o SASFT, um método de ajuste fino supervisionado guiado por autoencoders esparsos que mitiga a alternância de código inesperada em Grandes Modelos de Linguagem ao regular os valores de pré-ativação das características linguísticas, reduzindo esse problema em mais de 50% sem comprometer o desempenho multilíngue.
O artigo apresenta o SpiroLLM, o primeiro modelo de linguagem multimodal capaz de interpretar séries temporais de espirogramas para gerar relatórios diagnósticos explicáveis e clinicamente validados para a DPOC, superando as limitações de modelos anteriores ao alcançar alta precisão e robustez mesmo com dados incompletos.
O artigo propõe o MultiRole-R1, um framework de treinamento que aprimora o raciocínio de modelos em questões subjetivas ao introduzir diversidade de perspectivas e de tokens via RL, resultando em ganhos significativos de precisão tanto em tarefas subjetivas quanto em problemas matemáticos avançados.
Este trabalho desafia a visão de que a aprendizagem de cor (memorização) prejudica a generalização, demonstrando que modelos de linguagem de grande escala podem generalizar dados memorizados através de um framework de duas fases que alinha representações latentes entre tokens sintéticos e prompts semanticamente significativos.
O artigo apresenta o DeepSieve, um framework agênico de RAG que utiliza um LLM como roteador de conhecimento para decompor consultas complexas, filtrar informações irrelevantes e melhorar a precisão da recuperação e a profundidade do raciocínio em tarefas de múltiplos saltos.
O artigo apresenta o Uni-CoT, um framework unificado que supera as limitações atuais no raciocínio multimodal ao combinar compreensão e geração de imagens em um único modelo, utilizando uma abordagem de raciocínio em dois níveis (macro e micro) e treinamento estruturado para alcançar desempenho state-of-the-art com eficiência computacional.
O estudo demonstra que a esparsidade ideal em modelos de linguagem do tipo Mixture-of-Experts para tarefas de raciocínio depende de um equilíbrio entre FLOPs ativos e tokens totais por parâmetro, revelando que o aumento do cálculo ativo melhora o raciocínio enquanto a memorização beneficia-se de mais parâmetros, independentemente de técnicas de pós-treinamento ou computação em tempo de teste.
O artigo apresenta o EigenBench, um método de caixa preta que utiliza o algoritmo EigenTrust para gerar uma métrica comparativa de alinhamento de valores em modelos de linguagem, avaliando-os mutuamente em diversos cenários sem depender de rótulos de verdade absoluta e validando seus resultados através da forte correlação com julgamentos humanos.
O artigo propõe o método GACD, uma técnica de decodificação baseada em inferência que utiliza gradientes de primeira ordem para estimar e mitigar vieses textuais e de coocorrência em modelos de linguagem multimodal, reduzindo alucinações e melhorando a fundamentação visual sem necessidade de ajuste fino.
O artigo propõe o método DQO (Otimização de Qualidade e Diversidade), baseado em Processos de Pontos Determinantais, para aprimorar a diversidade semântica das respostas de Grandes Modelos de Linguagem durante o treinamento por reforço sem comprometer sua qualidade.
O artigo apresenta o BinaryShield, um sistema pioneiro que permite o compartilhamento seguro de inteligência sobre ameaças entre serviços de LLMs através de impressões digitais que preservam a privacidade, superando as barreiras regulatórias para detectar ataques de injeção de prompts sem violar os dados dos usuários.
O artigo apresenta o SVDecode, um método leve e teoricamente fundamentado que melhora a adaptação de tarefas em grandes modelos de linguagem alinhando suas distribuições de saída durante a decodificação por meio de um vetor de direção extraído de um ajuste fino inicial, alcançando ganhos de desempenho significativos sem adicionar parâmetros treináveis além dos adaptadores PEFT existentes.