1111 artigos
O POET-X é uma variante escalável e eficiente em termos de memória do framework POET que, ao otimizar transformações de equivalência ortogonal com custo computacional reduzido, permite o pré-treinamento de modelos de linguagem de bilhões de parâmetros em uma única GPU, superando as limitações de memória de otimizadores padrão como o AdamW.
Este artigo propõe um novo método para segmentação de instâncias camufladas em vocabulário aberto, utilizando técnicas de difusão texto-para-imagem para aprender representações visuais e textuais multiescala que superam as limitações atuais na identificação de objetos que se fundem ao fundo, abrindo caminho para aplicações em vigilância, monitoramento da vida selvagem e reconhecimento militar.
Este artigo apresenta o RAEE, um framework robusto de saída antecipada aumentada por recuperação que acelera a inferência de grandes modelos de linguagem e melhora o desempenho em tarefas zero-shot ao utilizar informações de saída de dados semelhantes para guiar a decisão de saída em camadas intermediárias.
Este trabalho propõe um sistema inovador de processamento de consultas semânticas que integra Modelos de Linguagem de Grande Escala (LLMs) ao Grafo de Conhecimento Acadêmico da ANU, utilizando o Modelo de Documento Profundo (DDM) e o Processamento de Consultas Aprimorado por KG (KGQP) para superar as limitações das abordagens tradicionais e permitir a recuperação precisa e eficiente de informações detalhadas sobre a pesquisa em Ciência da Computação.
Este estudo demonstra que modelos de linguagem neural aprendem as restrições de passivação no inglês a partir de evidências presentes nos dados de treinamento, sendo que tanto a frequência de uso (entrenchment) quanto a semântica (afetação) contribuem de forma independente para essas restrições, validando a manipulação de dados de treinamento como método eficaz para investigar a aquisição da linguagem.
O artigo apresenta o LMUnit, um modelo de avaliação unificado que utiliza testes unitários em linguagem natural para decompor a qualidade das respostas, demonstrando melhor concordância entre anotadores e desempenho superior em benchmarks comparado aos métodos tradicionais.
Este trabalho identifica e demonstra empiricamente o "vazamento de preferências", um problema de contaminação e viés em que modelos de linguagem atuando como juízes tendem a favorecer modelos geradores de dados sintéticos com os quais compartilham relação de origem, família ou identidade.
O OSCAR é um método inovador de compressão online e reclassificação dependente da consulta que reduz significativamente o custo computacional e acelera a inferência em pipelines de RAG, mantendo a precisão de modelos de linguagem de grande porte sem sobrecarga de armazenamento.
Este artigo apresenta o \data, um novo conjunto de dados com prompts focados em interações, e o \model, uma abordagem que utiliza Modelos de Linguagem Multimodal para decompor, criticar e refinar a geração de imagens, superando as limitações atuais dos modelos de texto-para-imagem na criação de cenas ricas em interações entre entidades.
O artigo apresenta o modelo formal N2M-RSI, que demonstra como agentes de IA que utilizam suas próprias saídas como dados de treinamento podem atingir um crescimento ilimitado de complexidade ao ultrapassar um limiar de integração de informação, unificando conceitos como auto-prompting e autorreferência godeliana enquanto se estende naturalmente a enxames de agentes.
Este artigo apresenta o PubHealthBench, um novo benchmark com mais de 8000 perguntas derivadas de diretrizes do governo do Reino Unido para avaliar o conhecimento de modelos de linguagem em saúde pública, revelando que, embora os modelos proprietários mais recentes superem os humanos em testes de múltipla escolha, seu desempenho em respostas livres permanece abaixo do ideal, indicando a necessidade de salvaguardas adicionais.
Este artigo propõe o MoB (Multi-Objective Balanced Covering), um método de poda de tokens visuais que reformula o problema como uma cobertura bi-objetiva com limites de erro prováveis, permitindo um equilíbrio ótimo entre alinhamento de prompts e preservação visual que mantém a performance de modelos MLLM avançados com uma redução drástica no número de tokens.
O artigo apresenta o R1-Code-Interpreter, um modelo de linguagem treinado com aprendizado supervisionado e reforço multiestágio que supera os limites de tarefas heterogêneas ao priorizar amostras com maior potencial de melhoria, alcançando desempenho superior ao do GPT-4o em tarefas de raciocínio e planejamento com execução de código.
Este artigo propõe a Calibração Supervisionada (SC), uma nova estrutura baseada em minimização de perda que supera as limitações dos métodos de calibração existentes em Aprendizado em Contexto (ICL) ao aprender transformações afins otimizadas para corrigir vieses sistemáticos e alterar a orientação das fronteiras de decisão de Grandes Modelos de Linguagem, alcançando desempenho superior em diversos conjuntos de dados e modelos.
Este trabalho investiga como modelos de preferência em linguagem superestimam características idiossincráticas como comprimento e jargão devido a artefatos nos dados de treinamento, propondo uma técnica de aumento de dados com contrafactuais que reduz significativamente essa miscalibração sem comprometer o desempenho geral.
O artigo apresenta o CounselBench, um benchmark em larga escala desenvolvido com 100 profissionais de saúde mental para avaliar e testar a segurança e a qualidade de modelos de linguagem em cenários realistas de perguntas e respostas sobre saúde mental, revelando falhas críticas como riscos de segurança e a superestimação sistemática desses modelos por juízes automatizados.
Este trabalho propõe o "Internal Confidence", um método sem treinamento que detecta incertezas em nível de consulta antes da geração de tokens, permitindo inferência adaptativa mais eficiente e confiável em modelos de linguagem grandes.
Este artigo propõe um método de viés contextual que utiliza correções de substituição feitas pelos usuários durante a inferência para resolver falhas no reconhecimento de palavras com discrepância entre pronúncia e ortografia, alcançando uma melhoria relativa de 22% a 34% na taxa de erro dessas palavras sem comprometer o desempenho geral do sistema.
O artigo apresenta o RLVER, um novo quadro de aprendizado por reforço que utiliza recompensas emocionais verificáveis de usuários simulados para aprimorar significativamente a inteligência emocional e a empatia de modelos de linguagem, elevando sua pontuação no Sentient-Benchmark de 13,3 para 79,2 sem comprometer suas capacidades cognitivas.
O artigo apresenta o UQLM, um pacote Python que utiliza técnicas de quantificação de incerteza para detectar alucinações em Grandes Modelos de Linguagem, oferecendo uma solução pronta para uso que gera escores de confiança e melhora a confiabilidade das respostas geradas.