Resumo Técnico: Estratégias para Guiar LLMs a Utilizar Padrões de Design de Software (Caso Singleton)

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado capacidade significativa na geração de código-fonte sintaticamente correto e funcional a partir de prompts em linguagem natural, eles frequentemente falham em aderir a estruturas arquitetônicas de alto nível e princípios de design estabelecidos. Especificamente, os LLMs lutam para aplicar consistentemente padrões de design de software, como o padrão Singleton, que são críticos para a manutenibilidade, modularidade e confiabilidade de longo prazo do software. O problema central abordado neste estudo é a falta de estratégias eficazes para guiar os LLMs a incorporar padrões de design específicos no código gerado sem comprometer a correção funcional desse código.

Metodologia

Os autores conduziram um experimento computacional envolvendo 13 LLMs de seis famílias de modelos diferentes (GPT, Llama, Qwen, Gemma, Mistral e DeepSeek), variando de 4B a 70B parâmetros. O estudo utilizou o conjunto de dados HumanEval-X, composto por 164 desafios de codificação em Java. Crucialmente, o conjunto de dados foi selecionado porque as soluções canônicas para essas tarefas não exigem inerentemente o padrão Singleton, garantindo que qualquer implementação do padrão fosse resultado da estratégia de orientação e não de uma solução coincidente.

Métricas de Avaliação

1. Funcionalidade: Medida pela taxa pass@1, indicando a porcentagem de soluções geradas que passaram nos testes unitários predefinidos para cada tarefa.
2. Alinhamento Singleton: Medido usando uma Pontuação Singleton modificada baseada na Taxa de Satisfação de Propriedades de Padrão (PSR). Uma classe foi avaliada contra três predicados específicos:
   • Construtor Privado: A classe possui um único construtor privado.
   • Método de Instância: Existe um método estático privado para recuperar a instância.
   • Ponto de Acesso Global: Existe um método de acesso estático público.
     A pontuação foi calculada como a porcentagem de predicados ausentes em relação ao total de predicados necessários.

Desenho Experimental

Quatro estratégias distintas de prompting foram avaliadas nos 13 modelos:

1. Orientação com Instruções: Os modelos foram explicitamente instruídos via prompt a implementar o padrão Singleton, mas não receberam feedback sobre erros.
2. Autoaperfeiçoamento (Feedback Binário): Os modelos tiveram tentativas iterativas. Após cada tentativa, receberam feedback binário indicando se o código seguia o padrão Singleton, sem especificar quais propriedades estavam ausentes.
3. Autoaperfeiçoamento com Suporte de Ferramentas (Feedback Extensivo): Semelhante à estratégia anterior, mas o feedback identificou explicitamente quais dos três predicados Singleton estavam ausentes (por exemplo, "Falhou nas seguintes verificações: Ponto de Acesso Global").
4. Prompting Few-Shot com Suporte de Ferramentas: Os modelos receberam o feedback extensivo da Estratégia 3, acompanhado de dois exemplos de classes Singleton implementadas corretamente.

Principais Resultados

Impacto na Implementação Singleton

• Instruções Diretas: Apenas instruir os modelos a usar o padrão Singleton melhorou significativamente a adesão para a maioria dos modelos. Llama 3.3 (70B) e Gemma 3 (27B) alcançaram uma Pontuação Singleton perfeita (100%) apenas com instruções diretas.
• Feedback Iterativo: Loops de feedback automatizado melhoraram consistentemente o alinhamento Singleton em todos os modelos. Autoaperfeiçoamento com suporte de ferramentas (feedback extensivo) produziu o maior alinhamento para a maioria dos modelos, com vários (incluindo Llama 3.3, GPT-4o mini e GPT-5 mini) alcançando pontuações Singleton de 100%.
• Limitações Few-Shot: Contrariando a hipótese de que exemplos ajudariam universalmente, adicionar exemplos few-shot não melhorou consistentemente o desempenho em relação ao feedback extenso sozinho. Em alguns casos (por exemplo, Gemma 3 (4B)), resultou em pontuações Singleton mais baixas.

Impacto na Correção Funcional

O estudo constatou que o efeito de guiar LLMs para padrões de design na correção funcional é altamente dependente do modelo:

• Correlação Positiva: Para vários modelos de alto desempenho, guiá-los a usar o padrão Singleton realmente melhorou a correção funcional. Llama 3.3 viu um aumento de 34,1 pontos percentuais nas taxas de aprovação de testes quando orientado por instruções. GPT-4o mini aumentou sua taxa de aprovação em 55,5 pontos percentuais.
• Correlação Negativa: Por outro lado, para modelos menores ou menos capazes (por exemplo, DeepSeek Coder v2, Gemma 3 (4B)), a exigência de implementar o padrão Singleton degradou significativamente a funcionalidade, com taxas de aprovação caindo em até 32,3 pontos percentuais.
• Compensações: Alguns modelos (por exemplo, DeepSeek Coder) implementaram com sucesso a estrutura Singleton, mas falharam em manter a funcionalidade original, indicando uma perda de contexto onde o padrão foi aplicado corretamente, mas à lógica errada.

Principais Contribuições

1. Avaliação Empírica de Estratégias: O artigo fornece uma comparação sistemática de quatro estratégias distintas (instruções, feedback binário, feedback extensivo e few-shot) para guiar LLMs a usar padrões de design.
2. Insights Específicos do Modelo: Os resultados demonstram que não existe uma estratégia "tamanho único". A abordagem ótima depende fortemente da arquitetura e do tamanho específicos do LLM. Por exemplo, enquanto o feedback extensivo ajudou a maioria dos modelos, instruções diretas foram suficientes para modelos de ponta como o Llama 3.3.
3. Funcionalidade vs. Adesão ao Padrão: O estudo desafia a suposição de que a imposição de padrões de design necessariamente prejudica a qualidade do código. Mostra que, para modelos capazes, impor restrições arquitetônicas pode coincidentemente melhorar a correção funcional, provavelmente ao forçar o modelo a estruturar o código de forma mais rigorosa.

Significado e Alegações

Os autores afirmam que este trabalho é significativo porque vai além da simples geração de código para abordar a integridade arquitetônica do software gerado por LLMs. O artigo afirma que:

• Orientação é Viável: Mesmo estratégias simples, como instruções diretas ou feedback binário, podem guiar efetivamente LLMs a implementar padrões de design.
• Feedback Iterativo é Robusto: O feedback binário iterativo fornece o melhor alinhamento geral com o padrão Singleton, preservando ou melhorando a funcionalidade para uma ampla gama de modelos.
• O Contexto Importa: A capacidade de aplicar padrões de design corretamente não é apenas uma função do tamanho do modelo, mas da estratégia de prompting utilizada.
• Aplicação Prática: As descobertas sugerem que ferramentas de engenharia de software que integram LLMs podem usar esses loops de feedback para garantir que o código gerado aderir a princípios de design padrão da indústria, aprimorando assim a manutenibilidade de longo prazo do desenvolvimento de software assistido por IA.

O artigo conclui modestamente, observando que, embora o padrão Singleton seja um padrão criacional com predicados estruturais claros, os resultados podem variar para padrões comportamentais mais complexos. O estudo não afirma que LLMs podem decidir autonomamente quando usar um padrão, mas sim que eles podem ser efetivamente guiados a usá-los quando explicitamente solicitados ou corrigidos.