Using LLMs to Evaluate Architecture Documents: Results from a Digital Marketplace Environment

Resumo Técnico: Uso de LLMs para Avaliar Documentos de Arquitetura – Resultados de um Ambiente de Marketplace Digital

Definição do Problema
O desenvolvimento de software é cada vez mais dependente da IA generativa, mas a qualidade da saída da IA permanece fundamentalmente dependente da qualidade de sua entrada. Artefatos de estágio inicial, como documentos de arquitetura de software, são entradas críticas para a implementação subsequente. Defeitos, ambiguidades ou informações ausentes nesses documentos podem levar a ciclos de correção dispendiosos mais adiante no ciclo de vida do desenvolvimento. Métodos tradicionais para avaliar a documentação de arquitetura existem (ex: ATAM, SAAM, checklists manuais), mas são frequentemente demorados e difíceis de escalar. Os autores investigam se os Grandes Modelos de Linguagem (LLMs) podem avaliar efetivamente a qualidade de documentos de arquitetura e fornecer feedback comparável ao de arquitetos de software humanos, especificamente no contexto de um marketplace digital para soluções de cidades inteligentes.

Metodologia
A pesquisa foi conduzida dentro da ferramenta "Quasar", um sistema baseado em LLM desenvolvido para apoiar a avaliação de soluções de código aberto no marketplace "Deutschland Digital". O estudo focou em dois projetos de código aberto específicos com níveis variados de completude de documentação:

1. Projeto 1: Uma solução com documentação abrangente (266 arquivos, incluindo Markdown, PDFs e imagens).
2. Projeto 2: Uma solução com documentação básica (11 arquivos Markdown e 25 imagens).

Arquitetura do Sistema e Implementação:

• Processamento de Entrada: O sistema aceita vários formatos de documentação (PDF, DOCX, Markdown, imagens). Um conversor (usando Docling) transforma esses arquivos em formatos legíveis.
• Lógica de Avaliação: O sistema emprega um modelo de qualidade ponderado onde critérios específicos são avaliados contra prompts predefinidos.
• Integração de LLM: O backend do "Quasar" utiliza um componente de "cliente de LLM" para desacoplar a lógica de avaliação de fornecedores de modelos específicos. Para o estudo, os autores utilizaram o Qwen2 hospedado localmente (multimodal, capaz de processar texto e diagramas) e o Llama3.1 (apenas texto) em GPUs NVIDIA Tesla V100.
• Procedimento: Dois arquitetos de software avaliaram manualmente os dois projetos com base em 25 afirmações predefinidas (classificadas de 0 a 4). Simultaneamente, o Quasar avaliou os mesmos projetos três vezes cada, usando os mesmos 25 prompts para avaliar a consistência e o acordo com especialistas humanos.

Principais Contribuições

1. Desenvolvimento de Ferramenta: A criação do "Quasar", uma ferramenta modular capaz de ingerir diversos formatos de documentação e gerar pontuações de qualidade baseadas em análise de LLM.
2. Comparação Empírica: Uma comparação direta da avaliação baseada em LLM contra a avaliação de especialistas humanos através de dois cenários de documentação distintos (abrangente vs. escassa).
3. Análise Contextual: Uma investigação de como a qualidade e a densidade dos artefatos de entrada influenciam a confiabilidade das avaliações de LLM.

Resultos
O estudo rendeu descobertas significativas em relação à relação entre a qualidade da entrada e o desempenho do LLM:

• Consistência (RQ 1.2):
  • Projeto 1 (Entrada de alta qualidade): As três execuções automatizadas mostraram resultados amplamente consistentes.
  • Projeto 2 (Entrada de baixa qualidade): As execuções mostraram consistência fraca. Em três instâncias, o modelo falhou em produzir um resultado para afirmações específicas em todas as execuções.
• Acordo com Humanos (RQ 1.3):
  • Projeto 1: Houve uma forte correlação. Duas afirmações coincidiram exatamente, e 36% das avaliações diferiram em no máximo 15%. O desvio médio foi de 27%.
  • Projeto 2: Nenhuma correlação aparente foi estabelecida. O desvio médio foi de 43%, indicando que o LLM não conseguiu replicar confiavelmente o julgamento humano em documentações escassas.
• Esforço (RQ 1.1):
  • Os tempos de processamento foram comparáveis entre humanos e a máquina para o conjunto de dados menor (22 min humanos vs. 14 min Quasar para o Projeto 2; 60 min humanos vs. 68 min Quasar para o Projeto 1). Os autores observam que, para conjuntos de dados maiores, espera-se que a solução automatizada seja mais rápida.

Significância e Alegações
O artigo alega que os LLMs são uma ferramenta de suporte promissora para arquitetos de software, mas enfatiza que sua utilidade é altamente condicional à qualidade dos artefatos de entrada.

• Dependência de Entrada: A descoberta central é que quanto melhor a qualidade e a estrutura do documento de arquitetura, mais consistente e precisa é a avaliação do LLM em relação aos especialistas humanos. Inversamente, a baixa densidade de informação leva a desvios significativos e alucinações.
• Papel da IA: Os autores posicionam os LLMs não como um substituto para especialistas humanos, mas como um mecanismo de "garantia de qualidade inicial e leve" que pode fornecer uma primeira impressão da qualidade da documentação, economizando assim o tempo dos especialistas.
• Limitações: Os autores declaram explicitamente que o estudo é limitado pelo pequeno tamanho da amostra (dois projetos, dois especialistas) e pelos modelos específicos utilizados. Eles alertam que a generalização não é possível com base nos resultados atuais e que as "inconsistências" observadas em entradas de baixa qualidade requerem mais análises antes que a tecnologia possa ser amplamente generalizada.
• Perspectiva Futura: Os autores sugerem que iterações futuras devem utilizar janelas de contexto maiores (ex: Google Gemini), Geração Aumentada de Recuperação (RAG) para preservar o contexto entre arquivos, e ajuste fino (fine-tuning) para melhorar o conhecimento de domínio específico. Eles também vislumbram integrar essas capacidades diretamente nas ferramentas diárias dos arquitetos (ex: Enterprise Architect, draw.io), em vez de como serviços independentes.