Reliability of Large Language Models for Design Synthesis: An Empirical Study of Variance, Prompt Sensitivity, and Method Scaffolding

Título: Confiabilidade de Modelos de Linguagem de Grande Escala (LLMs) para Síntese de Design: Um Estudo Empírico de Variância, Sensibilidade a Prompts e Scaffolding de Métodos

1. Problema de Pesquisa

O artigo aborda a lacuna crítica entre a tradução de diagramas e a síntese de design no contexto de Engenharia de Software. Embora os LLMs (como ChatGPT, Claude e Gemini) demonstrem capacidade de gerar diagramas UML sintaticamente válidos a partir de descrições em linguagem natural, a validade sintática não garante um design de software de alta qualidade.

• Limitação Atual: Muitos LLMs atuam como tradutores superficiais, mapeando substantivos e verbos do texto para classes e atributos, falhando em inferir princípios de design (como abstração e encapsulamento) e padrões de design (GoF) implícitos necessários para a manutenibilidade e extensibilidade.
• Desafio de Confiabilidade: Além da qualidade do design, existe o problema da estabilidade comportamental. Modelos generativos são inerentemente não determinísticos. Para fluxos de trabalho de arquitetura, é essencial que as saídas sejam consistentes sob variações de prompts (parafraseamento) e execuções repetidas. A falta de estudos empíricos sobre a estabilidade comportamental de modelos de ponta em tarefas de design é uma lacuna significativa.

2. Metodologia Experimental

Os autores conduziram um estudo empírico rigoroso envolvendo 540 experimentos controlados para avaliar três LLMs de ponta: ChatGPT 4o-mini, Claude 3.5 Sonnet e Gemini 2.5 Flash.

• Benchmarks: Foram utilizados dois cenários de domínio com diferentes níveis de complexidade:
  1. HMS (Hospital Management System): Complexidade média, focado em comportamento baseado em políticas de faturamento.
  2. Sensor Network: Alta complexidade, modelando redes de sensores com interações orientadas a eventos.
• Variáveis Independentes:
  • Estratégias de Prompting (3 tipos):
    1. Prompting Padrão: Apenas a descrição do domínio.
    2. Injeção de Regras: Prompting explícito com princípios de design e regras OOAD (Object-Oriented Analysis and Design).
    3. Prompting Baseado em Preferências (Proposto): Uma abordagem few-shot que expõe o modelo a exemplos contrastantes (soluções ruins vs. boas) para viésar a geração em direção a estruturas consistentes com padrões, sem nomear explicitamente os padrões no prompt de teste.
  • Variações de Prompt: 3 versões parafraseadas de cada descrição de domínio.
  • Repetições: 10 execuções independentes para cada combinação.
• Métricas de Avaliação (Avaliação Manual por Especialistas):
  • M1.1: Correção Estrutural: Precisão, Revocação e F1-score comparando elementos estruturais com um modelo de referência.
  • M1.2: Adesão a Princípios: Grau de cumprimento de princípios OOAD (Abstração, Encapsulamento).
  • M1.3: Emergência de Padrões: Capacidade de inferir e aplicar padrões de design (Observer, Strategy) sem que sejam nomeados.
  • M1.4: Índice de Estabilidade (SI): Medida de variância nas saídas entre repetições e parafraseamentos.

3. Contribuições Principais

1. Distinção Conceitual: Reafirmação de que a síntese de design exige inferência de conhecimento implícito, indo além da extração de entidades textuais.
2. Método de Alinhamento por Preferência: Proposta de uma técnica leve de few-shot prompting baseada em preferências (expondo o modelo a exemplos de "bom" vs. "ruim" de design) para orientar a síntese arquitetural sem depender de RLHF (Reinforcement Learning from Human Feedback) completo e custoso.
3. Análise de Estabilidade Comportamental: Demonstração de que a escolha do modelo é tão crítica quanto a estratégia de prompting, identificando regimes de estabilidade distintos entre os modelos avaliados.
4. Benchmarks Reprodutíveis: Criação de benchmarks focados em intenção de design (sem menção explícita de padrões) para avaliar a capacidade de inferência arquitetural.

4. Resultados Chave

• Eficácia do Prompting Baseado em Preferências (RQ1 & RQ2):

  • A abordagem baseada em preferências superou consistentemente o prompting padrão e a injeção de regras na adesão a princípios de design e na emergência de padrões.
  • Observação Importante: A injeção explícita de regras nem sempre melhorou o desempenho; em alguns casos (especialmente no Gemini), aumentou a carga cognitiva, levando a alucinações e estruturas inconsistentes.
  • Desempenho por Modelo:
    • Claude 3.5: Mostrou alta estabilidade de decodificação (consistência entre repetições), mas falhou em abstrair comportamentos compartilhados em superclasses.
    • ChatGPT 4o-mini: Demonstrou comportamento previsível uma vez estabelecida a "estrutura de suporte" (scaffolding) de design, com erros mais sistemáticos do que estocásticos.
    • Gemini 2.5 Flash: Apresentou a maior variabilidade (instabilidade) tanto entre repetições quanto entre parafraseamentos, com "deriva arquitetural" (mudanças no número de classes e relacionamentos).

• Inferência de Padrões Complexos (RQ4):

  • Todos os modelos falharam em inferir o Padrão Observer no cenário de rede de sensores (orientado a eventos). Isso indica um limite atual na capacidade de inferir dependências comportamentais implícitas quando os sinais estruturais não são explícitos.

• Estabilidade e Confiabilidade (RQ3):

  • A consistência semântica não garantiu consistência estrutural. Um modelo pode manter o mesmo significado, mas alterar drasticamente a topologia do diagrama (classes e relacionamentos), o que é crítico para a implementação.
  • O Índice de Estabilidade variou significativamente: Claude foi o mais estável em repetições, enquanto Gemini foi o menos estável.

5. Significado e Conclusão

O estudo conclui que a confiabilidade de LLMs para design de software não é apenas um problema de capacidade (fazer o diagrama), mas um problema de confiabilidade comportamental (fazer o diagrama certo, consistentemente).

• Reenquadramento do Problema: O uso de LLMs em arquitetura de software deve considerar a escolha do modelo como um fator determinante, tão importante quanto a engenharia de prompts.
• Limitações Atuais: Embora o alinhamento por preferências melhore a adesão a princípios, ele não elimina a não-determinatividade nem resolve completamente a inferência de padrões complexos em domínios de alta complexidade.
• Futuro: A pesquisa sugere que a próxima geração de assistentes de design deve combinar prompting baseado em preferências com módulos de raciocínio arquitetural explícito e técnicas para reduzir a não-determinatividade (como fine-tuning ou decodificação restrita).

Em suma, para que os LLMs sejam parceiros arquiteturais confiáveis, a indústria e a academia devem focar não apenas na precisão da saída, mas na robustez e estabilidade do processo de geração sob variações reais.