11971 artigos
O artigo propõe a "inferência de tempo entrópico", uma nova arquitetura de auto-organização que substitui a progressão linear de tokens por um processo termodinâmico inteligente, onde o agendamento, a esparsificação da atenção e a temperatura de amostragem são controlados unificadamente pelo fluxo de incerteza para otimizar a alocação de recursos computacionais em modelos de linguagem grandes.
Este artigo propõe o método CoIPO, que utiliza aprendizado contrastivo e otimização direta de preferência inversa para aumentar a robustez intrínseca de modelos de linguagem grandes contra ruídos em prompts, validado por meio de um novo benchmark e de um conjunto de dados aprimorado.
Este artigo apresenta o M-QUEST, um novo framework semântico e benchmark de 609 pares de perguntas e respostas que avalia a capacidade de modelos de linguagem de compreender a toxicidade em memes através de múltiplas dimensões, incluindo conhecimento de senso comum e raciocínio pragmático.
O artigo apresenta o IntPro, um agente proxy que aprimora a compreensão de intenções sensíveis ao contexto em modelos de linguagem grandes, utilizando uma biblioteca de histórico de intenções recuperada e treinamento com otimização de política para adaptar-se aos padrões individuais dos usuários.
Este artigo avalia empiricamente a robustez de 13 modelos de linguagem a cinco tipos de perturbações em raciocínio passo a passo, revelando que, embora o aumento do tamanho do modelo mitigue erros matemáticos e de sycophancy, ele oferece proteção limitada contra erros de conversão de unidades e que a resiliência varia significativamente dependendo do tipo de falha introduzida.
Este artigo propõe um framework para inferência de rankings de modelos de linguagem grandes dependentes do prompt, utilizando um modelo contextual de Bradley-Terry-Luce para gerar conjuntos de confiança estatisticamente válidos que quantificam a incerteza e evitam decisões equivocadas baseadas em estimativas pontuais ruidosas.
O artigo apresenta o NEURONA, um framework neuro-simbólico que melhora a precisão e a generalização na decodificação de conceitos a partir de dados de fMRI ao integrar raciocínio simbólico e execução composicional com fundamentação neural.
O artigo apresenta o GreenPhase, uma abordagem de aprendizado verde e interpretável baseada em aprendizado de Green que, ao eliminar a retropropagação e utilizar um design feed-forward multi-resolução, alcança desempenho excepcional na detecção e escolha de fases sísmicas com uma redução de 83% nos custos computacionais em comparação aos modelos de última geração.
O estudo apresenta o SMMA, um quadro automatizado baseado em deep learning que mede com precisão a espessura do músculo geniohioide durante a fala, permitindo a análise em larga escala da dinâmica muscular e a distinção de padrões de ativação entre vogais e diferenças sexuais.
Este artigo corrige erros teóricos presentes na formulação original do UMAP, fornecendo uma derivação completa e autossuficiente dos funtores de Spivak e sua variante finita, além de analisar a correspondência entre essa teoria e o algoritmo prático.
Este artigo propõe o "Learning Order Forest", um método de agrupamento para dados de atributos qualitativos que utiliza uma estrutura de floresta de árvores para aprender e representar relações de ordem locais entre valores, otimizando simultaneamente as árvores e os clusters para obter resultados superiores em comparação com métodos existentes.
Este trabalho apresenta o GLOT, um módulo de agrupamento leve e estruturalmente consciente que melhora as representações de frases em modelos de linguagem congelados ao construir e refinar um grafo de similaridade entre tokens, alcançando alta robustez e eficiência computacional superior a métodos de ajuste fino existentes.
Este artigo propõe e valida teoricamente uma nova estratégia adaptativa de seleção de parâmetros para descida de gradiente baseada em kernels, que integra análise de viés-variância e o conceito de dimensão efetiva empírica para alcançar limites ótimos de erro de generalização e superar os métodos existentes.
O artigo demonstra que a introdução de constantes de tempo temporais heterogêneas, inspiradas na biologia, melhora a estabilidade do treinamento e a robustez do Equilibrium Propagation, mantendo um desempenho competitivo em tarefas.
Este trabalho introduz a Energia Livre Surprisal-Rényi (SRFE), um funcional baseado em momentos logarítmicos que recupera as divergências KL direta e reversa como limites singulares, revelando um compromisso explícito entre média e variância e fornecendo uma interpretação precisa de Comprimento Mínimo de Descrição através de limites de grandes desvios.
Este artigo descreve uma variante simples do algoritmo Squint e demonstra, por meio de uma modificação direta da prova original, que ela garante um limite de arrependimento semelhante ao obtido recentemente por Freund et al. para uma variante do algoritmo NormalHedge.
Este artigo propõe um modelo escalável de descoberta causal que, ao integrar dados observacionais e intervencionais com intervenções suaves desconhecidas, utiliza regras de orientação contrastivas para recuperar a estrutura causal subjacente de forma mais precisa e generalizável do que métodos não contrastivos.
Este estudo de replicação do método FairDICE para aprendizado por reforço offline multiobjetivo revela que, embora suas alegações teóricas sejam válidas, um erro de implementação reduzia o algoritmo a comportamento padrão em ambientes contínuos e a falta de especificação de hiperparâmetros exigiu correções para demonstrar sua eficácia em cenários complexos.
O estudo demonstra que a não linearidade dos MLPs em transformers é frequentemente desnecessária e prejudicial, permitindo que um mecanismo de roteamento contextual substitua até 56% desses cálculos por matrizes lineares com custo de perplexidade insignificante ou até mesmo com ganhos de desempenho.
Este artigo apresenta as Redes de Hopfield em Grafos, um modelo baseado em energia que combina recuperação de memória associativa e suavização por Laplaciano de grafos para classificação de nós, demonstrando ganhos significativos de precisão e robustez em redes de citação e gráficos de co-compra.