1726 artigos
O artigo apresenta o DiSCTT, um framework de auto-curriculum guiado por consenso que melhora a eficiência e a estabilidade da adaptação em tempo de teste para modelos de raciocínio ao atribuir dinamicamente estratégias de otimização baseadas na incerteza epistêmica e no nível de acordo entre trajetórias de raciocínio amostradas.
O artigo propõe o método Progressive Residual Warmup (ProRes), que estabiliza e acelera o pré-treinamento de modelos de linguagem ao adiar o aprendizado das camadas mais profundas até que as camadas iniciais se estabilizem, resultando em melhor convergência e desempenho downstream.
Este estudo demonstra que modelos de linguagem de baixo parâmetro (<4B), quando fine-tunados com estratégias de raciocínio centrado em *Chain-of-Thought* e análise de palavras vizinhas, alcançam desempenho comparável ao de modelos de grande porte como o GPT-4-Turbo na tarefa de Desambiguação de Sentido de Palavras, oferecendo uma solução escalável e energeticamente eficiente.
Este estudo demonstra que modelos de IA grandes detectam representações injetadas por meio de dois mecanismos distintos: inferência baseada em anomalias no prompt e acesso direto a estados internos, sendo este último agnóstico ao conteúdo e consistente com teorias filosóficas e psicológicas sobre introspecção.
Este trabalho apresenta um framework unificado para combinar múltiplos modelos de linguagem em distribuições de ensemble através de uma função arbitrária, utilizando um algoritmo de Monte Carlo Sequencial em nível de byte para amostragem consistente e eficaz, superando as limitações das técnicas de agregação tradicionais.
Este artigo apresenta o quebra-cabeça de informação parcial distribuída (DPIP) e um conjunto de dados multimodais correspondente para avaliar a construção de terreno comum sob assimetria epistêmica, demonstrando que os modelos de linguagem atuais têm dificuldades em rastrear tanto o progresso da tarefa quanto os estados de crença em comparação com abordagens baseadas em lógica epistêmica dinâmica.
O artigo apresenta o FlashAttention-4, uma nova abordagem de co-design de algoritmos e kernel que otimiza a atenção para GPUs Blackwell (como B200 e GB200), superando gargalos de hardware assimétrico através de pipelines assíncronos e técnicas de redução de operações não matriciais, alcançando até 1,3x de velocidade em relação ao cuDNN e implementado inteiramente em CuTe-DSL para compilação significativamente mais rápida.
O artigo apresenta o corpus DEBISS, uma coleção de debates falados e individuais com características semi-estruturadas e diversas anotações para tarefas de PLN, criada para suprir a escassez de dados nessa área devido à grande variedade de formatos e aplicações de debates.
Este artigo apresenta o NCTB-QA, um grande conjunto de dados e benchmark em bengali para perguntas e respostas educacionais que inclui uma distribuição equilibrada de questões respondíveis e não respondíveis, demonstrando que o ajuste fino de modelos baseados em transformadores melhora significativamente o desempenho em cenários de baixo recurso.
Este artigo propõe e avalia a verificação de fatos sem recuperação de dados externos, introduzindo o método INTRA que explora representações internas do modelo para superar abordagens baseadas em logits e alcançar desempenho superior em cenários de generalização complexos.
O artigo apresenta evidências de "teatro de raciocínio" em modelos de IA, onde a confiança na resposta final é decodificável muito antes do modelo revelar sua crença interna, demonstrando que sondas de ativação podem identificar genuína incerteza e permitir uma saída antecipada que reduz significativamente o uso de tokens sem comprometer a precisão.
Este artigo avalia técnicas de elicitação de honestidade e detecção de mentiras em modelos de linguagem abertos chineses que censuram tópicos politicamente sensíveis, descobrindo que métodos como amostragem sem template de chat e prompts de few-shot aumentam respostas verdadeiras, embora nenhuma técnica elimine completamente as falsidades.
Este artigo demonstra que as ativações massivas e os sumidouros de atenção, embora frequentemente co-ocorram devido a artefatos arquitetônicos como a configuração pré-norm, desempenham funções distintas e separáveis nos modelos Transformer: as primeiras atuam globalmente como parâmetros implícitos, enquanto os segundos operam localmente para modular a atenção.
O POET-X é uma variante escalável e eficiente em termos de memória do framework POET que, ao otimizar transformações de equivalência ortogonal com custo computacional reduzido, permite o pré-treinamento de modelos de linguagem de bilhões de parâmetros em uma única GPU, superando as limitações de memória de otimizadores padrão como o AdamW.
Este artigo propõe um novo método para segmentação de instâncias camufladas em vocabulário aberto, utilizando técnicas de difusão texto-para-imagem para aprender representações visuais e textuais multiescala que superam as limitações atuais na identificação de objetos que se fundem ao fundo, abrindo caminho para aplicações em vigilância, monitoramento da vida selvagem e reconhecimento militar.
Este artigo apresenta o RAEE, um framework robusto de saída antecipada aumentada por recuperação que acelera a inferência de grandes modelos de linguagem e melhora o desempenho em tarefas zero-shot ao utilizar informações de saída de dados semelhantes para guiar a decisão de saída em camadas intermediárias.
Este trabalho propõe um sistema inovador de processamento de consultas semânticas que integra Modelos de Linguagem de Grande Escala (LLMs) ao Grafo de Conhecimento Acadêmico da ANU, utilizando o Modelo de Documento Profundo (DDM) e o Processamento de Consultas Aprimorado por KG (KGQP) para superar as limitações das abordagens tradicionais e permitir a recuperação precisa e eficiente de informações detalhadas sobre a pesquisa em Ciência da Computação.
Este estudo demonstra que modelos de linguagem neural aprendem as restrições de passivação no inglês a partir de evidências presentes nos dados de treinamento, sendo que tanto a frequência de uso (entrenchment) quanto a semântica (afetação) contribuem de forma independente para essas restrições, validando a manipulação de dados de treinamento como método eficaz para investigar a aquisição da linguagem.
O artigo apresenta o LMUnit, um modelo de avaliação unificado que utiliza testes unitários em linguagem natural para decompor a qualidade das respostas, demonstrando melhor concordância entre anotadores e desempenho superior em benchmarks comparado aos métodos tradicionais.
Este trabalho identifica e demonstra empiricamente o "vazamento de preferências", um problema de contaminação e viés em que modelos de linguagem atuando como juízes tendem a favorecer modelos geradores de dados sintéticos com os quais compartilham relação de origem, família ou identidade.