Resumo Técnico: SAKE – Software Architectural Knowledge Evaluation Benchmark

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implantados ao longo do ciclo de vida do desenvolvimento de software, sua capacidade de raciocinar sobre arquitetura de software permanece amplamente não mensurada. Os benchmarks existentes visam primariamente a geração de código sintático ou a resolução de problemas algorítmicos (ex: HumanEval, MMLU), falhando em capturar as demandas cognitivas complexas da tomada de decisão arquitetural. Tais decisões exigem o equilíbrio de compensações (trade-offs) de atributos de qualidade, a aplicação de padrões de projeto e a navegação por restrições de nível de sistema — tarefas que vão além do simples reconhecimento de padrões. Consequentemente, os profissionais carecem de uma base principiológica para confiar nos LLMs como consultores arquiteturais, e os pesquisadores carecem de uma linha de base compartilhada para medir o progresso neste domínio.

Metodologia

Os autores introduzem o SAKE (Software Architectural Knowledge Evaluation), um benchmark padronizado e reprodutível projetado para avaliar a competência de LLMs em arquitetura de software. A metodologia segue um processo de três fases:

1. Definição da Taxonomia: O benchmark é estruturado em torno de oito categorias de conhecimento derivadas de duas referências canônicas: Software Architecture in Practice [5] e Gang of Four Design Patterns [10]. Estas categorias são:
   • Padrões de Projeto (Design Patterns): Criacionais (CP), Estruturais (SPA) e Comportamentais (BP).
   • Conceitos de Nível de Sistema: Atributos de Qualidade (QA), Soluções Arquiteturais (ASO), Práticas Escaláveis (SPR), Estilos Arquiteturais (AST) e Arquitetura de Software para Computação Quântica (QC).
2. Construção das Questões: O benchmark compreende 2.154 questões de múltipla escolha elaboradas por especialistas (quatro opções cada). As questões foram redigidas de forma independente pelos três autores e submetidas a um processo de revisão por pares dupla e independente para garantir a validade do conteúdo e o acordo entre avaliadores. Itens ambíguos foram revisados ou descartados.
3. Estratificação: As questões são estratificadas por comprimento de contexto (curto, médio-curto, médio-longo, longo) para avaliar se o desempenho degrada conforme os prompts exigem uma integração de contexto mais ampla.
4. Protocolo de Avaliação: Os autores avaliaram 11 modelos de última geração (tanto proprietários quanto de pesos abertos) em configurações zero-shot e five-shot. Os prompts foram limitados a saídas curtas para garantir a extração consistente das respostas.

Principais Contribuições

• Primeiro Benchmark Dedicado: O SAKE é o primeiro benchmark padronizado explicitamente projetado para avaliar o conhecimento de arquitetura de software em LLMs, preenchendo uma lacuna crítica identificada em revisões sistemáticas da área.
• Conjunto de Dados Validado por Especialistas: Ao contrário de benchmarks de origem colaborativa (crowdsourced), o SAKE baseia-se em um rigoroso processo de dupla revisão por especialistas do domínio, garantindo que as questões testem o entendimento arquitetural genuíno em vez de apenas a compreensão de leitura.
• Análise Granular: O benchmark vai além de pontuações agregadas, fornecendo resultados estratificados através de oito categorias arquiteturais e quatro níveis de comprimento de contexto para diagnosticar lacunas específicas de competência.
• Lançamento Open Source: Todos os dados do benchmark, scripts de avaliação e resultados são lançados como código aberto para estabelecer uma linha de base para a comunidade.

Resultados

A avaliação de 11 modelos rendeu os seguintes insights:

• Desempenho Geral (RQ1): Os modelos demonstraram uma precisão geral consistentemente alta, variando de 89,31% a 94,23%. No entanto, o diferencial prático é o custo; modelos de pesos abertos como o Qwen 3 235B oferecem precisão competitiva a custos significativamente menores em comparação com os principais modelos proprietários.
• Variância de Categoria (RQ2): O desempenho é irregular entre os domínios.
  • Categorias Mais Fáceis: Atributos de Qualidade (QA) e Padrões Criacionais (CP) mostraram desempenho próximo ao teto (média de ~98% e ~97% em zero-shot), indicando que os modelos possuem forte capacidade de recuperação (recall) desses conceitos.
  • Categorias Mais Difíceis: Soluções Arquiteturais (ASO) e Computação Quântica (QC) foram consistentemente as mais desafiadoras, com menor precisão média e maior variância entre os modelos. Soluções Arquiteturais permaneceu como a categoria mais fraca mesmo em configurações five-shot.
• Efeitos do Comprimento de Contexto (RQ3): O impacto do comprimento do prompt é dependente da categoria, contradizendo a intuição de que "mais contexto é sempre melhor".
  • Tarefas Orientadas à Recuperação: Prompts mais longos geralmente melhoraram ou mantiveram a precisão.
  • Tarefas Intensivas em Raciocínio: Para Soluções Arquiteturais, a precisão degradou conforme o comprimento do prompt aumentou. Os autores sugerem que isso se deve à maior densidade de distratores em cenários mais longos, o que complica o raciocínio de compensação (trade-off) em vez de auxiliá-lo.
• Impacto de Few-Shot: A técnica de prompting five-shot yielded resultados variáveis. Embora alguns modelos de alta capacidade tenham apresentado melhora leve, vários modelos orientados à eficiência (ex: Deepseek v3.2) sofreram degradação significativa de desempenho, particularmente em categorias complexas.

Significância e Alegações

O artigo posiciona o SAKE como uma camada de conhecimento fundamental, e não como um substituto para o suporte total ao design arquitetural. Os autores afirmam que:

1. A Confiabilidade é Específica por Categoria: A alta pontuação agregada de um modelo é enganosa; os profissionais devem consultar os resultados por categoria para determinar se um modelo é confiável para tarefas arquiteturais específicas (ex: um modelo pode ser excelente em Atributos de Qualidade, mas não confiável para Soluções Arquiteturais).
2. Contexto Não é uma Panaceia: Adicionar contexto não melhora uniformemente o raciocínio arquitetural; de fato, pode prejudicar o desempenho em tarefas de análise de compensação complexas.
3. Linha de Base para Progresso: O SAKE fornece a primeira linha de base reprodutível para rastrear o raciocínio arquitetural em LLMs, permitindo que pesquisadores identifiquem lacunas específicas (ex: no raciocínio sobre contextos longos) e foquem melhorias via técnicas como Geração Aumentada de Recuperação (RAG) ou Chain-of-Thought.

Os autores concluem que, embora os modelos atuais mostrem potencial, lacunas de competência significativas permanecem em áreas centrais para a prática profissional, necessitando de supervisão humana contínua e desenvolvimento direcionado de modelos.