12237 artigos
Este artigo apresenta os Modelos de Fluxo de Gauge Superior, uma nova classe de modelos gerativos que estende os Modelos de Gauge Comuns ao incorporar álgebras L e geometria superior, demonstrando melhorias significativas de desempenho em experimentos com misturas gaussianas.
Este artigo demonstra que a quantização de redes neurais equivale ao problema do vetor mais próximo em reticulados, prova que o algoritmo GPTQ é equivalente ao algoritmo do plano mais próximo de Babai e sugere o uso de redução de base de reticulados para melhorar a quantização.
O artigo apresenta o DMTrack, uma nova arquitetura de rastreamento multimodal espaço-temporal baseada em dois adaptadores (STMA e PMCA) que, utilizando apenas 0,93 milhão de parâmetros treináveis, alcança resultados state-of-the-art em cinco benchmarks ao facilitar a fusão e a complementaridade progressiva entre modalidades.
O artigo apresenta o Shuffle-R1, um framework eficiente de aprendizado por reforço para Modelos de Linguagem Multimodais que resolve problemas de colapso de vantagem e silenciamento de rolagens através de amostragem dinâmica de trajetórias e embaralhamento baseado em vantagem, resultando em um treinamento mais eficaz com sobrecarga mínima.
Este estudo analisa 83 prompts de persona utilizados em pesquisas com modelos de linguagem de grande escala, revelando tendências como a geração de perfis individuais e concisos, o uso predominante de texto e dados demográficos, a exigência frequente de formatos estruturados e a escassez de comparações entre diferentes modelos, levantando implicações para a representação computacional de usuários.
Este estudo demonstra que é possível prever com surpreendente precisão a qualidade da tradução automática e identificar desigualdades linguísticas utilizando apenas metadados e características de fertilidade de tokens, sem a necessidade de executar o próprio sistema de tradução.
Este estudo demonstra que a ineficiência na tokenização impõe um "imposto de tokens" que prejudica sistematicamente idiomas de recursos limitados e morfologicamente complexos, reduzindo a precisão e aumentando os custos computacionais, embora modelos de raciocínio recentes ajudem a mitigar essas disparidades.
O artigo propõe o DPH-RL, um novo quadro de aprendizado por reforço com recompensa verificável que utiliza divergências f-cobertoras de massa (como a KL direta) para preservar a diversidade do modelo e mitigar o colapso de soluções, resolvendo simultaneamente a degradação do Pass@k e o esquecimento catastrófico sem a necessidade de um modelo de referência online.
O artigo demonstra que é possível prever a precisão de respostas de grandes modelos de linguagem (LLMs) e sua confiança apenas analisando as ativações internas antes da geração de qualquer token, revelando um sinal generalizável que, embora eficaz em conhecimento factual, falha em tarefas de raciocínio matemático.
Este artigo apresenta o problema de Resposta a Perguntas Corporificadas Concorrentes (EQsA), introduz o framework agêntico ConEQsA para agendamento e resposta assíncronos baseados em urgência, e propõe o benchmark CAEQs com métricas específicas para avaliar o desempenho de agentes em ambientes 3D sob múltiplas solicitações.
O \textsc{ScaleDoc} é um sistema inovador que otimiza a análise semântica de grandes coleções de documentos ao desacoplar a execução de predicados em uma fase offline de representação e uma fase online filtrada por um modelo proxy leve, reduzindo significativamente os custos e a latência de inferência de LLMs sem comprometer a precisão.
O artigo apresenta o AIGB-Pearl, um método inovador que integra planejamento generativo com otimização de políticas e um avaliador de trajetórias para superar as limitações de exploração dos métodos existentes de licitação automática, alcançando desempenho superior em sistemas publicitários reais e simulados.
O artigo apresenta o SiNGER, um novo framework de destilação de conhecimento que utiliza perturbações guiadas pelo espaço nulo para refinar as características de Vision Transformers, suprimindo artefatos de alta norma e preservando sinais informativos, resultando em modelos alunos com desempenho superior e representações mais claras.
Este artigo propõe um quadro teórico baseado na complexidade de Kolmogorov para objetivos de comprimento de descrição assintoticamente ótimos em Transformers, demonstrando sua existência teórica e viabilidade prática através de um objetivo variacional que, embora promova a generalização e compressão, enfrenta desafios significativos de otimização.
Este trabalho oferece uma perspectiva teórica sobre os benefícios e limitações do Aprendizado por Reforço no planejamento de Modelos de Linguagem, demonstrando que, embora o Aprendizado por Reforço supere o Ajuste Fino Supervisionado ao evitar soluções espúrias através da exploração, o Gradiente de Política sofre de colapso de diversidade, enquanto o Aprendizado Q oferece vantagens superiores como aprendizado off-policy e preservação da diversidade, desde que o design da recompensa seja cuidadoso.
Este estudo demonstra que a novidade baseada em n-gramas é uma métrica insuficiente para avaliar a criatividade textual, pois ignora a adequação pragmática e falha em capturar a percepção de criatividade de escritores humanos, sugerindo que modelos de linguagem de ponta (LLMs) são mais eficazes ao julgar a criatividade quando atuam como avaliadores do que ao depender de métricas estatísticas tradicionais.
O artigo apresenta o MedLA, um framework multiagente baseado em LLMs que utiliza árvores de raciocínio lógico explícitas e discussões guiadas por grafos para detectar inconsistências e alcançar consenso, superando métodos existentes em tarefas complexas de raciocínio médico.
Este artigo propõe o P-GRAFT, um método que otimiza o ajuste fino de modelos de difusão ao moldar distribuições em níveis de ruído intermediários para melhorar a maximização de recompensas e corrigir erros de aprendizado sem recompensas explícitas, demonstrando ganhos significativos em benchmarks de geração de imagens e moléculas.
O artigo apresenta o LaDiR, um novo framework de raciocínio que aprimora os Grandes Modelos de Linguagem ao unificar representações latentes contínuas com modelos de difusão latente, permitindo a geração paralela e a refinamento iterativo holístico de trajetórias de raciocínio, o que resulta em maior precisão, diversidade e interpretabilidade em tarefas matemáticas e de planejamento.
O artigo apresenta o D2E, um framework que valida a pré-treinagem em dados de desktop (como jogos) como uma abordagem escalável e eficaz para transferir habilidades sensoriomotoras para robótica física, alcançando desempenho superior a modelos maiores com apenas 1 bilhão de parâmetros.