Effectiveness of LLM-based Software Diversity for Reliability Improvement -- an Empirical Study

Título: Eficácia da Diversidade de Software Baseada em LLM para Melhoria da Confiabilidade – um Estudo Empírico

Problema
A diversidade de software é uma estratégia estabelecida para reduzir falhas de modo comum em sistemas tolerantes a falhas, notadamente através da Programação de N-Versões (NVP). No entanto, a diversidade tradicional é dispendiosa, exigindo múltiplas implementações humanas independentes, validação e manutenção. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam um mecanismo escalável e de baixo custo para gerar implementações de código diversas, permanece incerto se os programas gerados por LLMs exibem a diversidade de falhas necessária para melhorar a confiabilidade do sistema. Especificamente, não se sabe se os LLMs introduzem falhas correlacionadas semelhantes às de desenvolvedores humanos ou se fornecem perfis de falha complementares que podem ser aproveitados para ganhos de confiabilidade.

Metodologia
Os autores conduziram um estudo empírico comparando programas escritos por humanos históricos contra grandes conjuntos de códigos gerados por LLM em três especificações: 3n+1, Factors and Factorials e Factovisors.

• Datasets:
  • Baseline Humano: Programas extraídos do repositório UVa Online Judge, desenvolvidos antes da ubiquidade dos LLMs para garantir um baseline livre de contaminação.
  • Geração por LLM: Grandes conjuntos de código gerados usando 14 LLMs modernos (5 APIs Comerciais e 9 modelos de pesos abertos locais) através de quatro linguagens de programação (C, C++, Java, Pascal) e cinco configurações de temperatura (0.5 a 1.5).
• Estrutura de Avaliação:
  • Os programas foram compilados e executados em um ambiente isolado (sandboxed) contra suítes de testes exaustivas.
  • Filtragem: Programas que falharam na compilação, sofreram crash ou falharam em todos os casos de teste (PFD=1) foram excluídos. Apenas programas válidos (Perfeitos ou Parciais) foram retidos.
  • Métricas: A melhoria da confiabilidade foi medida usando a razão de melhoria de confiabilidade ($R$), definida como a média da Probabilidade de Falha sob Demanda (PFD) de programas individuais dividida pela média da PFD de pares 1-de-2.
  • Configurações: O estudo analisou:
    1. Pares homogêneos: Extraídos da mesma população (ex: humano-humano ou LLM-LLM).
    2. Pares heterogêneos: Extraídos de diferentes populações (ex: diferentes linguagens, ou humano-LLM).
    3. Cross-source (Fonte Cruzada): Especificamente pareando programas escritos por humanos com programas gerados por LLM.

Principais Contribuições

1. Primeira Aplicação de Frameworks Clássicos a Código de LLM: Este é o primeiro estudo que aplica os frameworks clássicos de análise de confiabilidade de Eckhardt-Lee (EL) e Littlewood-Miller (LM) a grandes populações de código gerado por LLM, comparando-os diretamente com baselines históricos escritos por humanos.
2. Caracterização Sistemática da Diversidade de LLM: O estudo caracteriza a diversidade gerada por LLM através de dimensões controláveis (família de modelos, temperatura, linguagem de programação) e quantifica seu impacto nos ganhos de confiabilidade.
3. Análise de Heterogeneidade Humano-LLM: Fornece uma visão empírica inicial de se os LLMs reproduzem padrões de falha humanos existentes ou se oferecem diversidade complementar quando pareados com código humano.

Resultos

• Confiabilidade Homogênea: Programas gerados por LLM geralmente produzem melhorias de confiabilidade mais altas do que programas escritos por humanos no espectro de alta confiabilidade (ex: para 3n+1, os LLMs alcançaram ~11.500x de melhoria em PFD $10^{-7}$ vs. ~1.900x para humanos). No entanto, assim como os programas humanos, os programas de LLM não são independentes de falhas; suas curvas de confiabilidade permanecem limitadas pela linha de independência teórica, indicando uma correlação de falhas inerente.
• Diversidade de Linguagem: Forçar LLMs a gerar código em diferentes linguagens aumenta significativamente os ganhos de confiabilidade. Pareamentos heterogêneos de LLM (ex: C++ e Java) frequentemente superam a diversidade de linguagem humana, aproximando as medições empíricas da linha de independência estrita.
• Diversidade Cross-source (Humano-LLM):
  • Heterogeneidade Forçada: Os ganhos de confiabilidade mais significativos foram alcançados ao forçar uma arquitetura heterogênea estrita (um programa humano pareado com um programa LLM). Esta configuração superou consistentemente tanto o baseline puramente humano quanto o puramente de LLM.
  • Correlação Negativa: Em casos específicos (ex: 3n+1 em certos limiares), o pareamento forçado humano-LLM cruzou a linha de independência teórica, indicando uma correlação de falha negativa onde as duas fontes compensam ativamente as fraquezas uma da outra.
  • Diferenças de Nível de Modelo: Parear humanos com LLMs Comerciais geralmente proporcionou melhorias de confiabilidade robustas. Parear humanos com modelos Locais menores às vezes resultou em fatores de melhoria matematicamente extremos (ex: >2.9 milhões), mas os autores observam que isso é frequentemente enganoso, impulsionado pela alta taxa de falha do modelo local em vez de uma verdadeira diversidade complementar.
• Efeitos de Temperatura: Aumentar a temperatura de geração aumentou a diversidade dentro do pool de LLM (melhorando pareamentos homogêneos de LLM), mas não teve impacto na confiabilidade cross-source heterogênea, sugerindo que a temperatura altera a distribuição de erros da IA, mas não preenche a lacuna cognitiva fundamental entre o raciocínio da IA e o humano.

Significância e Alegações
O artigo alega que os LLMs fornecem uma fonte escalável e de baixo custo de programas heterogêneos cuja diversidade pode ser aproveitada para a melhoria da confiabilidade. No entanto, os autores enfatizam que os LLMs não eliminam o desafio clássico das falhas de software correlacionadas. Em vez disso, eles oferecem um novo mecanismo para induzir diversidade.

O estudo conclui que a estratégia arquitetônica mais eficaz para a confiabilidade não é simplesmente agrupar saídas humanas e de IA, mas sim forçar a heterogeneidade estrutural (ex: parear um componente escrito por humano com um componente gerado por LLM). Esta abordagem pode render ganhos de confiabilidade que superam tanto os baselines puramente humanos quanto os de IA pura e, em alguns casos, alcançar uma correlação de falha negativa. As descobertas sugerem que os LLMs podem apoiar o desenvolvimento de software de múltiplas versões ao tornar a geração e avaliação sistemática de programas heterogêneos prática.

Ameaças à Validade
Os autores reconhecem que o corpus humano consiste em soluções de programação competitiva de uma era pré-LLM, o que pode não representar totalmente o desenvolvimento "aumentado" moderno. Além disso, as suítes de testes são específicas para tarefas de programação competitiva, e os resultados são condicionais a esses cenários de dificuldade específicos. O estudo também observa que os LLMs podem ter sido expostos a especificações semelhantes durante o treinamento, embora o corpus humano específico usado não tenha sido público na forma analisada.