1065 artigos
O artigo apresenta o Emotion Collider (EC-Net), uma estrutura baseada em hipergrafos e embeddings no espaço hiperbólico que utiliza aprendizado contrastivo e fusão bidirecional para gerar representações de emoção robustas e semanticamente coerentes, demonstrando alta eficácia em benchmarks multimodais mesmo na presença de ruído ou dados parciais.
O artigo apresenta o ModalImmune, um framework de treinamento que garante imunidade a falhas em sistemas multimodais ao colapsar intencionalmente canais de entrada durante o aprendizado, resultando em representações conjuntas robustas e estáveis frente a remoções ou corrupções de modalidades.
Este artigo apresenta o CondMedQA, o primeiro benchmark para perguntas e respostas biomédicas condicionais, e propõe o framework Condition-Gated Reasoning (CGR), que utiliza grafos de conhecimento conscientes de condições para melhorar a precisão do raciocínio médico ao adaptar as respostas às características específicas dos pacientes.
O artigo apresenta o MrBERT, uma família de codificadores multilingues modernos e eficientes, otimizados para desempenho de ponta em tarefas específicas de catalão e espanhol, bem como em domínios especializados como biomedicina e direito, com suporte a tamanhos de vetor flexíveis para reduzir custos de inferência.
O artigo apresenta o CeRA, um adaptador paralelo que supera a limitação linear do LoRA em tarefas de raciocínio complexo ao induzir expansão de variedades via portas SiLU e dropout estrutural, permitindo alcançar desempenho superior com ranks significativamente menores.
O artigo apresenta o KVSlimmer, um método que estabelece um fundamento teórico para a assimetria do cache KV e propõe uma solução de otimização sem gradiente, eficiente em memória e tempo, que supera os métodos atuais ao reduzir custos computacionais e latência enquanto melhora o desempenho em tarefas de longo contexto.
Este artigo apresenta um framework de previsão conformal que garante cobertura estatística para a extração de entidades médicas por modelos de linguagem, demonstrando que a calibração depende do domínio clínico e da estrutura do documento, permitindo a implantação segura com taxas de rejeição gerenciáveis.
O artigo apresenta o CyclicJudge, uma estratégia de atribuição rotativa de avaliadores que elimina vieses sistemáticos em avaliações de LLMs mantendo o mesmo custo computacional das avaliações de juiz único, conforme validado empiricamente em benchmarks como MT-Bench e MindEval.
O artigo apresenta o PrivMedChat, um framework de ponta a ponta que aplica privacidade diferencial em todas as etapas do RLHF para alinhar modelos de linguagem a diálogos médicos, garantindo proteção de dados sensíveis sem depender de anotações clínicas dispendiosas.
O artigo demonstra que, para modelos de linguagem pequenos, o método de detecção de contaminação baseado na distribuição de saída (CDD) é ineficaz e supera em desempenho métodos baseados em probabilidade, como perplexidade e Min-k% Prob, pois sua eficácia depende criticamente da memorização verbatim que raramente ocorre nesses modelos.
O artigo apresenta o vLLM Hook, um plug-in de código aberto que permite o acesso e a modificação programática dos estados internos de modelos LLM no vLLM, habilitando funcionalidades como detecção de prompts maliciosos, aprimoramento de RAG e direcionamento de ativações.
Este relatório técnico apresenta um sistema baseado em transformadores que avança o desempenho no ARC-AGI ao combinar inferência neural com priores sensíveis à estrutura e adaptação online, utilizando codificação compacta de tarefas, aumento de dados baseado em simetrias, treinamento no momento do teste (TTT) com LoRA e um pipeline de pontuação para alcançar generalização próxima ao nível humano.
Este artigo investiga a origem dos "sumidouros de atenção" em Grandes Modelos de Linguagem, identificando um mecanismo específico chamado "P0 Sink Circuit" que permite a modelos reconhecerem o primeiro token sem informação semântica, surgindo precocemente no treinamento e concentrando-se nas primeiras camadas, o que pode servir como indicador de convergência.
Este trabalho demonstra que estruturas latentes hierárquicas no processo de geração de dados unificam a explicação do surgimento de fenômenos mecanísticos distintos em modelos de linguagem, utilizando corpora sintéticos gerados por gramáticas livres de contexto probabilísticas para investigar e validar essas descobertas tanto em dados sintéticos quanto em modelos reais.
O artigo apresenta a Hierarchical Embedding Fusion (HEF), uma abordagem de duas etapas que comprime repositórios de código em uma hierarquia de vetores densos e os integra ao gerador via pseudo-tokens, permitindo uma geração de código assistida por recuperação com latência ultrabaixa e precisão comparável a métodos baseados em snippets.
Este artigo demonstra que os atuais juízes baseados em LLM falham em medir de forma confiável a robustez adversarial devido a deslocamentos de distribuição que degradam seu desempenho a níveis próximos do acaso, revelando que muitas "vitórias" de ataques exploram essas insuficiências em vez de gerar conteúdo genuinamente prejudicial, e propõe novos benchmarks para avaliação mais precisa.
O artigo apresenta o PerCE, um método de aprendizado que utiliza intervenções causais para estimar e reponderar tokens específicos durante o treinamento, melhorando significativamente a personalização de Grandes Modelos de Linguagem com baixo custo computacional.
O artigo apresenta um método de pontuação de confiança normalizada para detectar erros e alucinações em modelos de linguagem, demonstrando que o ajuste fino supervisionado (SFT) melhora a calibração da confiança enquanto métodos de aprendizado por reforço a prejudicam, propondo uma solução de pós-ajuste para restaurar a confiabilidade e otimizar sistemas de geração aumentada por recuperação (RAG).
O artigo apresenta o GraphSkill, um framework de codificação com recuperação aumentada hierárquica guiada por documentação e agente de autodepuração, que supera as limitações de métodos existentes ao explorar a estrutura hierárquica de documentos técnicos e corrigir erros lógicos, validado por meio de um novo dataset e experimentos que demonstram maior precisão e menor custo de inferência em raciocínio complexo sobre grafos.
O artigo apresenta o SR-TTT, uma abordagem que resolve as falhas de recuperação de modelos de linguagem com Treinamento em Tempo de Teste (TTT) ao integrar um mecanismo de memória residual esparsa e controlada por perda, que roteia dinamicamente apenas tokens altamente surpreendentes para um cache de atenção exata, preservando assim a eficiência de memória O(1) para o contexto geral enquanto garante a retenção precisa de informações críticas.