Resumo Técnico: Uma Metodologia Sistemática para Avaliar a Independência de Falhas em Código Gerado por LLM

Declaração do Problema

A Programação N-Versão (NVP) é uma técnica de tolerância a falhas que melhora a confiabilidade do software executando múltiplas implementações independentes da mesma especificação e combinando seus resultados (ex: via votação por maioria). Sua eficácia baseia-se na premissa de que versões desenvolvidas independentemente falham de forma independente. No entanto, estudos empíricos mostraram que versões desenvolvidas por humanos frequentemente falham nos mesmos inputs devido a interpretações compartilhadas de especificações ambíguas e estratégias de design comuns, reduzindo significativamente os ganhos de confiabilidade. Além disso, o alto custo de desenvolver e manter múltiplas equipes humanas tem limitado a adoção da NVP.

Os Grandes Modelos de Linguagem (LLMs) oferecem uma solução potencial para a barreira de custo ao gerar múltiplas implementações em escala. Contudo, permanece incerto se as soluções geradas por LLMs satisfazem a premissa crítica de independência de falhas. A pesquisa atual sobre geração de código por LLM foca em correção funcional, diversidade sintática e qualidade de código, mas carece de uma metodologia para determinar se implementações geradas independentemente falham de forma independente. Sem tal metodologia, é impossível avaliar se a NVP é viável com LLMs ou quantificar os ganhos de confiabilidade alcançáveis através da redundância.

Metodologia

Os autores propõem a primeira metodologia sistemática para avaliar a independência de falhas em código gerado por LLM. O framework avalia as implementações através de três dimensões complementares:

1. Diversidade Estrutural: Mede as diferenças na estrutura estática do código (organização, fluxo de controle, sintaxe) usando a similaridade CodeBLEU. Isso captura as diferenças superficiais de como as soluções são escritas.
2. Diversidade Comportamental: Mede se as implementações falham nos mesmos inputs com mais frequência do que o esperado pelo acaso. Os autores adaptam o modelo de distribuição hipergeométrica (originalmente usado por Knight e Leveson) para calcular um escore $Z$ ($Z_{ij}$) para pares de soluções. Este escore quantifica o desvio das co-falhas observadas em relação à sobreposição esperada sob a hipótesa nula de independência, controlando a taxa de falha global de cada solução.
3. Ganhos de Confiabilidade: Simula a votação por maioria de N-versões ($N \in \{3, 5\}$) para quantificar a melhoria prática na confiabilidade. O estudo introduz uma métrica chamada efetividade de redundância, definida como a fração do ganho teórico de confiabilidade (alcançável sob independência perfeita) que é efetivamente realizada pelo ensemble.

Configuração Experimental:

• Dataset: Derivado do benchmark PROBE (1.651 problemas de estilo competição). Os autores curaram um subconjunto de 224 problemas, filtrando tarefas triviais ou intratáveis e aumentando os conjuntos de testes via fuzzing e geração multi-agente para garantir alta cobertura (96,7% de linha, 94,8% de ramo) e robustez contra casos de borda.
• Sistemas: Avaliou 12 LLMs diversos (proprietários e de código aberto, variando em tamanho e arquitetura) através de 5 linguagens de programação (Python, C++, Java, C, Rust) e 3 estratégias de prompting (Baseline, Chain-of-Thought, Out-of-the-box).
• Procedimento: As soluções geradas foram filtradas para correção básica, avaliadas contra os conjuntos de testes aumentados e submetidas à análise estrutural/comportamental. Uma análise de falhas manual foi realizada em um subconjunto de implementações parcialmente corretas para identificar as causas raiz.

Contribuições Principais

1. Uma Nova Metodologia: O artigo introduz o primeiro framework sistemático para avaliar a independência de falhas em código gerado por LLM, indo além das métricas de correção para medir diretamente a correlação de falhas e a efetividade de redundância.
2. Estudo Empírico Abrangente: O estudo aplica esta metodologia a um dataset de grande escala (224 problemas, 12 modelos, 5 linguagens, 3 estratégias), fornecendo a avaliação mais extensa de correlação de falhas em código de LLM até o momento.
3. Dataset Público: Os autores disponibilizam um dataset contendo prompts, código gerado, testes unitários e métricas para permitir a reprodutibilidade e pesquisas futuras.
4. Análise Detalhada: O estudo fornece insights granulares sobre diversidade estrutural vs. comportamental, ganhos de confiabilidade e similaridade de nível de falha, distinguindo entre diferenças superficiais de código e modos de falha subjacentes.

Resultados

Diversidade Estrutural (RQ1)

• Implementações do mesmo modelo são altamente similares estruturalmente (ex: pontuações CodeBLEU de 0,76 para C++ dentro do mesmo modelo vs. 0,55 entre modelos diferentes).
• Modelos diferentes produzem soluções mais distintas, mas a diversidade está concentrada majoritariamente no nível superficial (n-grams, sintaxe). Propriedades estruturais mais profundas (AST, fluxo de dados) apresentam menos variação.
• Estratégias de prompting têm um impacto negligenciável na diversidade estrutural em comparação com a escolha do modelo.

Diversidade Comportamental (RQ2)

• Alta Correlação: As falhas são fortemente correlacionadas. O escore médio de similaridade de par ($Z_{ij}$) é de 2,04, indicando um desvio significativo da independência. 65,9% dos pares de implementação mostram um desvio positivo estatisticamente significativo.
• Impacto do Modelo: A escolha do modelo é o fator mais forte. Soluções do mesmo modelo falham nos mesmos inputs muito mais frequentemente do que o esperado. Embora modelos mais fortes exibam padrões de falha mais distintos em relação a outros modelos, eles permanecem altamente correlacionados internamente.
• Casos de Borda: A correlação aumenta em inputs de casos de borda (escore de similaridade sobe para 3,39), sugerendo que condições difíceis alinham os modos de falha ainda mais fortemente.
• Linguagem/Prompting: A linguagem tem um efeito moderado (Python mostra maior alinhamento interno), enquanto as estratégias de prompting têm impacto negligenciável.

Ganhos de Confiabilidade (RQ3)

• Ganhos Modestos: A votação por maioria de N-versões produz apenas melhorias modestas na confiabilidade. A confiabilidade aumenta de 0,88 (versão única) para 0,90 ($N=3$) e 0,91 ($N=5$).
• Baixa Efetividade: A efetividade de redundância é baixa (0,43 para $N=3$, 0,44 para $N=5$), o que significa que os ensembles capturam menos da metade do ganho de confiabilidade que seria possível sob independência.
• Seleção de Modelo: Ensembles heterogêneos (modelos diferentes) performam significativamente melhor do que os homogêneos, mas mesmo as melhores combinações heterogêneas não superam a confiabilidade do melhor modelo individual (GPT-OSS).
• Retornos Decrescentes: Adicionar mais versões gera retornos decrescentes, falhando em se aproximar dos limites teóricos de independência.

Análise de Falhas (RQ4)

• Causas Raiz Compartilhadas: A inspeção manual revela que, mesmo quando os padrões de falha parecem diferentes, eles frequentemente derivam das mesmas causas raiz (ex: dependência de heurísticas globais, estouros de inteiros ou complexidade algorítmica suboptimal).
• Padrões Específicos de Modelo: Modelos específicos reproduzem consistentemente os mesmos padrões de raciocínio falho. Modelos mais fortes tendem a evitar erros simples, mas ainda exibem padrões de erro internos consistentes em inputs complexos.

Significância e Alegações

O artigo alega que a premissa de independência de falhas subjacente à NVP não se sustenta para os atuais LLMs. Apesar da capacidade dos LLMs de gerar código a baixo custo, as implementações resultantes compartilham modos de falha correlacionados que limitam severamente os benefícios da redundância.

• Implicação Prática: Simplesmente gerar múltiplas versões de código usando o mesmo modelo (ou mesmo modelos diferentes) é insuficiente para alcançar os benefícios de mascaramento de falhas da NVP. Os ganhos de confiabilidade são modestos, e nenhum ensemble supera o melhor modelo individual.
• Valor Metodológico: A metodologia proposta serve como uma ferramenta crítica para avaliar sistematicamente a independência de falhas conforme os modelos evoluem. Ela destaca que a diversidade estrutural é um pobre substituto para a independência de falhas, e que a diversidade comportamental e a análise de nível de falha são necessárias para avaliar a verdadeira robustez do código gerado por LLM.
• Direções Futuras: Os autores sugerem que trabalhos futuros devem focar em técnicas para otimizar explicitamente a diversidade comportamental e a independência (ex: prompting orientado à diversidade ou fine-tuning), em vez de depender de combinações de modelos ad-hoc.

O estudo conclui que, embora os LLMs reduzam o custo da NVP, a barreira fundamental da correlação de falhas permanece, necessitando de novas estratégias para garantir a verdadeira diversidade nas soluções geradas.