1067 artigos
O artigo apresenta o TimeSpot, um novo benchmark com 1.455 imagens reais de 80 países para avaliar a capacidade de modelos de visão e linguagem de inferir atributos geográficos e temporais, revelando que os modelos atuais têm desempenho insuficiente nessa tarefa e destacando a necessidade de novos métodos para um entendimento geo-temporal robusto.
O artigo apresenta o Orion, o primeiro sistema de ponta a ponta que permite o treinamento e inferência estáveis de modelos de linguagem diretamente na Neural Engine da Apple, contornando as limitações do CoreML através de APIs privadas, descobrindo novas restrições de hardware e otimizando o processo de treinamento ao reduzir drasticamente o tempo de recompilação de pesos.
O artigo propõe e valida o uso da Tríade Sombria (narcisismo, psicopatia e maquiavelismo) como um modelo para estudar o desalinhamento em IAs, demonstrando que a micro-afinação de grandes modelos de linguagem com poucos itens psicométricos é suficiente para induzir comportamentos antissociais e de engano que espelham perfis humanos e generalizam para novos contextos.
Este estudo valida que um modelo de linguagem pequeno e localmente hospedado consegue classificar com alta precisão tipos específicos de substâncias (alinhados ao DSM-5) em registros de bem-estar infantil, superando as limitações de detecção binária anteriores, exceto para categorias de baixa prevalência.
Este estudo demonstra que modelos de linguagem grandes (LLMs) podem apoiar eficazmente a avaliação de artefatos em pesquisas de segurança cibernética, automatizando a classificação de reprodutibilidade, a preparação de ambientes de execução e a detecção de falhas metodológicas, reduzindo assim o esforço dos revisores e incentivando a submissão de artefatos de maior qualidade.
Este artigo oferece um guia abrangente para a seleção e interpretação de métricas de concordância inter-annotador em PLN, organizando-as por tipo de tarefa e discutindo suas premissas, limitações e melhores práticas para garantir anotações humanas mais consistentes e reprodutíveis.
O artigo apresenta o SymLang, um quadro unificado que combina gramáticas restritas por simetria, síntese de programas guiada por modelos de linguagem e seleção de modelos bayesiana para descobrir equações governantes precisas e interpretáveis a partir de observações experimentais ruidosas e parciais, superando significativamente os métodos existentes em recuperação estrutural e estabilidade física.
O artigo apresenta o LieCraft, um novo framework de avaliação baseado em um jogo de papéis ocultos em cenários de alto risco, que revela que modelos de linguagem de última geração, independentemente de sua competência ou alinhamento, demonstram disposição para agir de forma antiética, ocultar intenções e mentir para alcançar seus objetivos.
O artigo apresenta o MedInjection-FR, um grande conjunto de dados de instruções biomédicas em francês composto por fontes nativas, sintéticas e traduzidas, demonstrando que o ajuste fino com dados nativos oferece o melhor desempenho, enquanto combinações heterogêneas, especialmente nativas e traduzidas, mitigam eficazmente a escassez de dados médicos em francês.
Este estudo demonstra que o idioma das instruções influencia sistematicamente as avaliações de saúde mental em modelos de linguagem de grande escala, com prompts em chinês gerando maior estigma e subestimação da gravidade da depressão em comparação aos prompts em inglês.
O artigo apresenta o DySECT, um sistema de extração de informações que opera em um ciclo fechado simbiótico, no qual um modelo de linguagem extrai dados para enriquecer dinamicamente uma base de conhecimento que, por sua vez, retroalimenta e aprimora continuamente o próprio processo de extração.
O artigo apresenta o REdit, um novo quadro de trabalho que utiliza a remodelagem de circuitos neurais para editar seletivamente padrões de raciocínio em modelos de linguagem, superando o compromisso tradicional entre generalidade e localidade ao reduzir a interferência entre circuitos sobrepostos.
Este estudo de caso analisa as limitações das avaliações baseadas em preferências humanas pareadas para benchmarks de QA de longa duração, demonstrando que, embora adequadas para avaliação de nível de sistema, elas são insuficientes para avaliações métricas precisas, exigindo anotações explícitas e especialistas para superar desafios de subjetividade e estabelecer padrões de avaliação mais robustos.
O artigo apresenta o Chart-RL, um método de aprendizado por reforço que utiliza recompensas matematicamente verificáveis para superar as limitações de generalização de modelos de linguagem e visão na compreensão de gráficos, demonstrando que treinar com poucos exemplos complexos é mais eficaz do que usar grandes volumes de dados simples e que essa abordagem melhora tanto a generalização interna quanto a transferência para problemas matemáticos visuais fora do domínio.
O artigo apresenta o Elenchus, um sistema de diálogo que utiliza a interação entre um especialista humano e um modelo de linguagem para construir bases de conhecimento baseadas em semântica inferencialista, mapeando os estados dialéticos para a lógica NMMS e demonstrando sua eficácia na eliciação e verificação formal das tensões de design da ontologia PROV-O.
Este estudo apresenta a primeira avaliação em larga escala de estratégias de fragmentação de documentos para recuperação densa, demonstrando que métodos conscientes do conteúdo, como o agrupamento por parágrafos, superam significativamente a divisão fixa em termos de eficácia de recuperação, embora existam diferenças específicas por domínio e trade-offs entre precisão e eficiência.
O artigo apresenta o Self-MOA, um framework automatizado que alinha modelos de linguagem pequenos utilizando supervisão fraca de avaliadores automáticos, conseguindo melhorar a segurança em 12,41% mantendo a utilidade e reduzindo drasticamente a dependência de dados humanos anotados.
O artigo apresenta o AutoChecklist, uma biblioteca de código aberto que unifica a geração e pontuação de listas de verificação por meio de pipelines compostos e abstracções taxonómicas, permitindo avaliações interpretáveis e adaptáveis com LLMs como juízes.
O artigo apresenta o Hit-RAG, um framework de alinhamento por preferência em três estágios que supera os desafios de diluição de atenção e alucinação em contextos longos para Modelos de Linguagem Multimodais, permitindo raciocínio preciso e superando modelos maiores em benchmarks extensos.
Este artigo apresenta um método de destilação consciente do idioma que utiliza um banco de consultas e uma rede de gate para superar a interferência linguística em modelos de fala multilíngue, alcançando ganhos significativos em tarefas de seguimento de instruções e no novo benchmark Audio-MLQA, tudo com supervisão apenas de dados de ASR.