Exploring the Reasoning Depth of Small Language Models in Software Architecture: A Multidimensional Evaluation Framework Towards Software Engineering 2.0

Este estudo estabelece um quadro de avaliação multidimensional para modelos de linguagem pequenos (SLMs) na arquitetura de software, revelando que modelos acima de 3B parâmetros possuem capacidades robustas em zero-shot, enquanto os menores beneficiam-se mais do ajuste fino, e que a alta diversidade semântica em modelos prontos muitas vezes indica alucinação em vez de exploração produtiva.

O essencial

Imagine que você é um arquiteto de prédios muito famoso. No passado, para desenhar um novo arranha-céu, você precisava de uma equipe gigante de engenheiros, calculadoras caras e muito tempo.

Hoje, temos "inteligências artificiais" que podem ajudar a desenhar esses prédios. Mas há um problema: as IAs mais inteligentes (chamadas de Grandes Modelos de Linguagem) são como supercomputadores que consomem tanta energia quanto uma cidade inteira e são muito caras para usar. Além disso, muitas empresas não querem enviar seus segredos industriais para a nuvem.

Então, a pergunta é: Será que podemos usar "mini-IA" (modelos pequenos) para fazer esse trabalho de arquitetura de software? Elas são baratas, rápidas e podem rodar no computador da própria empresa, mas será que são "burras" demais para tomar decisões complexas?

Este artigo é como um teste de direção para esses carros pequenos. Os autores colocaram 10 desses "mini-modelos" para tentar escrever Registros de Decisão de Arquitetura (ADRs).

O que é um ADR? (A Analogia do Diário de Obra)

Imagine que você está construindo uma casa. Você precisa decidir: "Vou usar tijolo ou concreto?" ou "O telhado será de telha ou de laje?".
Um ADR é como o diário oficial da obra. Não é apenas o desenho final; é o documento que explica por que você tomou aquela decisão, quais foram os prós e contras, e o que pode dar errado no futuro. Se o arquiteto errar aqui, a casa pode cair.

O Grande Teste: O que os pesquisadores descobriram?

Eles testaram os modelos de três jeitos diferentes, como se fossem métodos de estudo:

1. Zero-Shot (O Estudante que vai para a prova sem estudar):

   • Eles deram o problema e pediram a solução.
   • Resultado: Os modelos "grandes" (acima de 3 bilhões de parâmetros, como um cérebro de 3 anos) já sabiam o que fazer. Eles escreveram bons diários de obra.
   • O Problema: Os modelos "minúsculos" (abaixo de 2 bilhões, como um cérebro de 1 ano) escreveram textos que pareciam corretos (usavam palavras bonitas), mas a lógica estava errada. Era como um aluno que decora a fórmula, mas não entende a física. Eles pareciam inteligentes, mas a casa deles desmoronaria.

2. Few-Shot (O Estudante que vê 2 exemplos antes da prova):

   • Antes de pedir a resposta, eles mostraram 2 exemplos de bons diários de obra.
   • Resultado: Para alguns modelos médios (como o Phi-3), isso foi mágico! Eles usaram os exemplos como um "cola" inteligente e melhoraram muito, ficando tão bons quanto os modelos gigantes.
   • O Perigo: Para outros modelos, mostrar exemplos só confundiu a cabeça deles, piorando a nota.

3. Fine-Tuning (O Curso Intensivo):

   • Eles treinaram os modelos especificamente com centenas de exemplos de diários de obra.
   • Resultado: Funcionou muito bem para os modelos minúsculos (1 bilhão de parâmetros), ajudando-os a entender o vocabulário técnico. Mas, para os modelos já inteligentes, fazer esse curso intensivo às vezes os fez esquecer o que já sabiam (como um aluno que estuda tanto para uma prova específica que esquece a matéria geral).

A Lição sobre "Criatividade" vs. "Alucinação"

Os pesquisadores mediram também a "diversidade" das respostas.

• Para os modelos grandes: A diversidade era boa. Eles davam soluções diferentes, mas todas válidas (como um arquiteto que sugere 3 tipos diferentes de telhado, todos seguros).
• Para os modelos pequenos: A "diversidade" era na verdade alucinação. Eles inventavam soluções que não faziam sentido nenhum, apenas para parecerem criativos. Era como um aluno que, em vez de pensar em soluções, começa a inventar histórias de dragões no relatório de obra.

O Veredito Final (Em linguagem simples)

O estudo nos dá um guia prático para o futuro da "Engenharia de Software 2.0" (onde humanos e robôs trabalham juntos):

• Não tente usar o modelo mais pequeno (1B) para tudo: Ele é muito limitado. Se você precisa dele, precisa treiná-lo muito bem, mas ainda assim ele pode errar a lógica.
• O "Ponto Doce" (3B a 7B): Modelos desse tamanho são os campeões. Eles são inteligentes o suficiente para entender o problema.
• O Truque do "Few-Shot": Se você tem um modelo médio com pouca memória (janela de contexto curta), não gaste dinheiro treinando-o. Apenas mostre a ele 2 exemplos de como fazer antes de pedir a tarefa. Isso é mais barato e funciona melhor!
• Cuidado com a "Criatividade": Se um modelo pequeno está gerando muitas respostas diferentes, provavelmente ele está alucinando (inventando coisas), e não explorando ideias criativas.

Resumo da Ópera:
Não precisamos de supercomputadores caros para ajudar na arquitetura de software. Podemos usar modelos pequenos e baratos, mas precisamos saber qual modelo usar e como conversar com ele (mostrando exemplos). Se fizermos isso certo, teremos assistentes de arquitetura que são rápidos, baratos, seguros (rodando no seu próprio computador) e, o mais importante, inteligentes o suficiente para não fazer a casa cair.

Resumo técnico

Resumo Técnico: Avaliação de Modelos de Linguagem Pequenos (SLMs) em Arquitetura de Software

1. Problema e Contexto

No cenário emergente da "Engenharia de Software 2.0" (SE 2.0), onde agentes inteligentes colaboram com engenheiros humanos, a Inteligência Artificial Generativa está avançando da geração de código para a Arquitetura de Software (SA). Embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidades superiores, eles apresentam desafios críticos:

• Custos Computacionais e Ambientais: Operações em nuvem são caras e geram alta pegada de carbono.
• Privacidade de Dados: Documentos de arquitetura frequentemente contêm segredos comerciais e vulnerabilidades, impedindo o envio para APIs públicas em nuvem.
• Limitações dos SLMs: Modelos de Linguagem Pequenos (SLMs, < 7 bilhões de parâmetros) surgem como solução para implantação local e segura, mas suas limitações de raciocínio em tarefas complexas de arquitetura ainda não foram exploradas sistematicamente.

A lacuna principal é a falta de benchmarks que avaliem não apenas a similaridade textual, mas a profundidade do raciocínio arquitetônico (compliance técnico, análise de trade-offs e impacto de mudanças) em modelos com recursos limitados.

2. Metodologia

O estudo introduz o SLM-ArchBench, um framework de avaliação multidimensional focado na geração de Registros de Decisão de Arquitetura (ADRs).

• Seleção de Modelos: Foram avaliados 10 SLMs de código aberto (pesos abertos) de diversos provedores (Meta, Microsoft, Google, Alibaba, Mistral, etc.), variando de 1B a 7B de parâmetros.
• Dataset: Um conjunto curado de 95 pares de "Contexto-Decisão" extraídos de repositórios GitHub de projetos reais, garantindo rigor analítico.
• Estratégias de Avaliação: Os modelos foram testados sob três configurações:
  1. Zero-Shot: Capacidade inata sem exemplos.
  2. Few-Shot (In-Context Learning): Uso de 2 exemplos de ADRs no prompt.
  3. Fine-Tuning (PEFT): Ajuste fino eficiente de parâmetros usando LoRA (Low-Rank Adaptation) no conjunto de treinamento.
• Métricas de Avaliação:
  • Métricas de Similaridade Textual: BERTScore, ROUGE, BLEU, METEOR (foco em precisão semântica).
  • Score de Compliance Arquitetônico (LLM-as-a-Judge): Um avaliador automatizado (Gemini-2.5-Flash) pontuou a validade técnica e a aderência a padrões de arquitetura (0-100).
  • Score de Diversidade Semântica: Mediu a variação entre múltiplas soluções geradas para distinguir "exploração produtiva" de "alucinação estocástica".

3. Contribuições Principais

1. Framework SLM-ArchBench: Uma metodologia que vai além da similaridade textual, avaliando o raciocínio arquitetônico e identificando o limiar de parâmetros onde os modelos transitam de imitação lexical para conformidade arquitetônica genuína.
2. Análise de Estratégias de Adaptação: Comparação sistemática entre In-Context Learning (Few-Shot) e Fine-Tuning para ambientes com recursos restritos.
3. Análise de Trade-off Qualidade-Diversidade: Investigação empírica de como a tensão entre diversidade de saída e qualidade se manifesta em SLMs, estabelecendo limites entre exploração criativa e alucinação.

4. Resultados Chave

Os resultados revelaram um fosso de raciocínio significativo baseado no tamanho do modelo:

• Limiar de 3B Parâmetros:

  • Modelos acima de 3B (ex: Mistral-7B, Qwen2.5-3B) demonstraram capacidades robustas em zero-shot, alcançando scores de compliance acima de 65-70% sem treinamento adicional.
  • Modelos abaixo de 2B (ex: Gemma-3-1B, SmolLM2-1.7B) apresentaram alta similaridade lexical (BERTScore competitivo), mas baixa conformidade arquitetônica (scores de compliance entre 45% e 56%). Isso indica que a fluência textual não garante raciocínio arquitetônico sólido em modelos ultra-leves.

• Eficácia do Few-Shot (In-Context Learning):

  • Funcionou como um mecanismo de calibração altamente eficaz para modelos de tamanho médio com janelas de contexto curtas (ex: Phi-3-mini, OLMo-2-7B).
  • O Phi-3-mini, por exemplo, aumentou seu score de compliance de 66,4% para 72,1% com apenas 2 exemplos, superando modelos maiores em few-shot.
  • Para modelos com fortes priores zero-shot (ex: Mistral-7B), adicionar exemplos às vezes introduziu ruído, degradando o desempenho.

• Impacto do Fine-Tuning (LoRA):

  • Beneficiou principalmente os modelos mais leves (1B), melhorando significativamente a precisão semântica (BERTScore).
  • No entanto, não garantiu melhorias de compliance em todos os casos e, em alguns modelos (ex: OLMo-2-1B, Phi-3-mini), causou regressão no desempenho de compliance em comparação ao few-shot. Isso sugere que o ajuste fino em dados limitados pode levar à sobre-especialização e perda de capacidade de raciocínio geral.

• Diversidade vs. Alucinação:

  • Em modelos pequenos off-the-shelf, alta diversidade de saída correlacionou-se frequentemente com alucinação e falta de conformidade, em vez de exploração produtiva.
  • O Few-Shot conseguiu equilibrar essa relação em modelos selecionados, aumentando simultaneamente a diversidade e a conformidade.

5. Significância e Diretrizes de Implantação

O estudo fornece diretrizes práticas para a adoção sustentável de assistentes de arquitetura locais na Engenharia de Software 2.0:

• Modelos de 7B: Devem operar preferencialmente em modo Zero-Shot ou Few-Shot seletivo. O Fine-Tuning oferece retornos decrescentes ou riscos de degradação.
• Modelos de 3B-7B (com contexto curto): São os candidatos ideais para Few-Shot Learning, alcançando desempenho de ponta sem o custo computacional do ajuste fino.
• Modelos de 1B: Podem se beneficiar de Fine-Tuning para precisão semântica, mas os ganhos em conformidade arquitetônica não são garantidos e requerem cautela para evitar regressão.

Conclusão: O trabalho estabelece que SLMs podem ser viáveis para suporte à decisão arquitetônica, mas a escolha do modelo e da estratégia de adaptação (Zero-Shot vs. Few-Shot vs. Fine-Tuning) é crítica e depende estritamente do tamanho do modelo e dos requisitos de privacidade/latência. A fluência textual sozinha é uma métrica enganosa para avaliar a competência arquitetônica em modelos pequenos.