177 artigos
Este estudo apresenta a primeira auditoria sistemática que revela como as "shadow APIs" enganam usuários e pesquisadores ao fornecerem respostas inconsistentes e inseguras em comparação com as APIs oficiais de modelos de linguagem, comprometendo a reprodutibilidade científica e a confiança nas ferramentas de IA.
O artigo apresenta o LoRA-MME, uma solução de ensemble multi-modelo que combina quatro codificadores transformadores ajustados com LoRA para classificação de comentários de código, alcançando alta precisão semântica mas enfrentando penalidades de pontuação devido ao alto custo computacional na competição NLBSE'26.
Este artigo apresenta o MPBMC, uma abordagem híbrida que utiliza embeddings de redes neurais gráficas e estatísticas de tempo de execução para agrupar funcionalmente propriedades de hardware, acelerando significativamente a verificação formal por meio de Model Checking Limitado (BMC) em benchmarks do HWMCC.
Este artigo apresenta a primeira avaliação multidimensional da influência acadêmica e da qualidade do código em 31 benchmarks de segurança de LLM, revelando que, embora os benchmarks não superem artigos não-benchmark em citações, existe uma desconexão crítica entre a proeminência dos autores e a qualidade do código, evidenciando a necessidade urgente de melhorar a reprodutibilidade e as considerações éticas nos repositórios.
O artigo apresenta o iScript, um modelo de linguagem adaptado ao domínio de design físico e um benchmark correspondente, que superam os modelos de linguagem gerais na geração de scripts Tcl para o EDA ao utilizar um pipeline de síntese de dados multiestágio e uma estratégia de treinamento em duas etapas para mitigar a escassez de dados e garantir alta confiabilidade.
O artigo apresenta o CLARC, um novo benchmark automatizado em C/C++ derivado de repositórios reais do GitHub, que avalia a robustez de modelos de busca de código sob condições desafiadoras como anonimização de identificadores e compilação para Assembly, revelando a dependência excessiva das tecnologias atuais em características lexicais em vez de compreensão semântica.
Este artigo apresenta os resultados de uma pesquisa industrial realizada na Valônia que avalia o estado atual das práticas de teste de robustez em Sistemas Ciber-Físicos, identificando desafios, lacunas em relação às metodologias de ponta e comparando os achados com estudos similares na literatura.
Este artigo apresenta o "Vibe Code Bench", um novo benchmark que avalia a capacidade de 16 modelos de IA de desenvolver aplicações web completas do zero, revelando que, apesar dos avanços, a geração confiável de software end-to-end ainda é um desafio significativo e depende criticamente de estratégias como auto-teste e de protocolos rigorosos de avaliação humana.
Este artigo avalia o desempenho de três modelos de linguagem (GPT-4, Claude 3 e Gemini) na geração automática de cenários de Desenvolvimento Orientado a Comportamento (BDD) a partir de um conjunto de dados de 500 histórias de usuário, revelando que, embora o GPT-4 apresente maior similaridade textual, o Claude 3 produz cenários de maior qualidade segundo especialistas humanos e avaliadores de IA, além de identificar que a qualidade da entrada, técnicas de *prompting* específicas e configurações de temperatura zero são determinantes para o sucesso da geração.
O MOOSEnger é um agente de IA especializado no ecossistema MOOSE que combina geração aumentada por recuperação com ferramentas de validação e execução determinísticas para converter intenções em linguagem natural em arquivos de entrada executáveis, alcançando uma taxa de sucesso de 93% em comparação com 8% em abordagens baseadas apenas em LLM.
O artigo apresenta o FireBench, um novo benchmark de código aberto com mais de 2.400 amostras que avalia a capacidade de modelos de linguagem seguirem instruções em cenários empresariais e de API, preenchendo a lacuna deixada por benchmarks existentes focados apenas em assistentes de chat.
Este estudo qualitativo analisa 16 casos de Escritórios de Programas de Código Aberto (OSPOs) no setor público europeu para identificar seis arquétipos organizacionais e oferecer diretrizes práticas sobre como desenvolver capacidades institucionais que promovam a adoção estratégica de software de código aberto, a soberania digital e a interoperabilidade dos serviços públicos.
Este estudo apresenta um sistema de geração automática de personas a partir de avaliações de usuários em lojas de aplicativos de VR, demonstrando que essa abordagem facilita a elicitação de requisitos de acessibilidade latentes e promove uma maior empatia entre os estudantes durante o desenvolvimento de projetos de VR.
O artigo apresenta o RepoLaunch, o primeiro agente capaz de automatizar a resolução de dependências, compilação e extração de resultados de testes em repositórios de código de qualquer linguagem e plataforma, permitindo a criação escalável de conjuntos de dados para treinamento e avaliação de agentes de engenharia de software.
Este estudo investiga as motivações e padrões de uso dos contribuidores do Stack Overflow antes da era dos LLMs, revelando diferenças culturais significativas entre os Estados Unidos, China e Rússia, onde os norte-americanos tendem a focar na autopromoção enquanto os chineses priorizam o aprendizado, com implicações para estratégias de participação cruzada na engenharia de software.
Este artigo propõe um framework de benchmarking e uma plataforma unificada para avaliar sistematicamente a qualidade, representatividade e adequação de conjuntos de dados de modelos de software, visando superar a falta de padronização e garantir a reprodutibilidade e comparabilidade em pesquisas de engenharia de modelos orientada a dados.
Este artigo propõe um framework genérico para avaliar a capacidade de modelos de linguagem em gerar código de linguagens de domínio específico (DSLs) baseadas em restrições, como OCL e Alloy, demonstrando que, embora seu desempenho seja inferior ao de linguagens gerais como Python, técnicas como reparo de código e múltiplas tentativas podem melhorar significativamente a qualidade dos resultados.
Este estudo apresenta a primeira avaliação empírica em larga escala da geração de testes unitários por modelos de linguagem (LLMs), demonstrando que, embora técnicas de raciocínio como GToT melhorem a confiabilidade e a legibilidade em comparação com métodos baseados em busca, as altas taxas de falhas de compilação e defeitos de manutenção exigem abordagens híbridas para resultados prontos para produção.
Este trabalho apresenta o TrashFuzz, um algoritmo de fuzzing que identifica cenários realistas de adversários ao manipular a posição de objetos comuns na estrada, violando diretrizes de design viário e induzindo o sistema de direção autônoma Apollo a cometer erros de percepção e infringir leis de trânsito.
Este artigo detalha a modelagem formal, verificação e teste do ambiente de execução de autômatos de contrato (CARE) utilizando a ferramenta Uppaal, demonstrando como essas técnicas melhoram a confiabilidade da aplicação distribuída de código aberto.