Large Language Models for Analyzing Enterprise Architecture Debt in Unstructured Documentation

Título: Modelos de Linguagem de Grande Escala para Análise de Dívida de Arquitetura Empresarial em Documentação Não Estruturada

1. Problema e Contexto

A Dívida de Arquitetura Empresarial (EA Debt) refere-se a decisões de design subótimas e componentes desalinhados que degradam o cenário de TI de uma organização ao longo do tempo. Os sinais precoces dessa dívida são conhecidos como "Cheiros de Arquitetura Empresarial" (EA Smells).

• O Desafio Atual: A detecção e análise desses "cheiros" são predominantemente manuais, intensivas em recursos e baseadas em especialistas. Além disso, as abordagens automatizadas existentes focam quase exclusivamente em artefatos estruturados (como modelos ArchiMate e grafos de conhecimento), ignorando a vasta quantidade de conhecimento arquitetural que reside em fontes não estruturadas (descrições de processos, políticas, atas de reuniões, documentos estratégicos).
• A Lacuna: Existe uma necessidade crítica de automatizar a análise de documentos não estruturados para identificar dívida arquitetural de forma proativa, escalável e eficiente em termos de custos, respeitando restrições de proteção de dados corporativos.

2. Metodologia

O estudo adota uma abordagem de Pesquisa em Ciência de Design (Design Science Research - DSR) para projetar, implementar e avaliar um artefato baseado em Modelos de Linguagem de Grande Escala (LLMs).

• Escopo do Artefato: O sistema foi projetado para processar documentos em formatos .docx e .pdf focados na camada de negócios da arquitetura empresarial (processos, objetivos, papéis).
• Objetivo de Detecção: Identificar 12 "Cheiros de EA" específicos (ex: "Solução Temporária", "Contradição em Entrada", "Falta de Documentação", "Big Bang").
• Abordagem Técnica:
  • Modelo Principal (On-Premise): Foi selecionado e ajustado o modelo LLaMA-3.2-3B-Instruct. A escolha foi motivada pela necessidade de rodar em hardware restrito (apenas CPU, 16 GB de RAM) e garantir a proteção de dados (sem chamadas de API externas).
  • Técnica de Ajuste Fino (Fine-Tuning): Utilizou-se LoRA (Low-Rank Adaptation), uma técnica de ajuste fino eficiente em parâmetros (PEFT), combinada com aprendizado de poucos exemplos (few-shot learning).
  • Conjunto de Dados: Foi criado um conjunto de treinamento sintético, mas realista, contendo 960 instâncias (80 exemplos para cada um dos 12 cheiros) cobrindo 8 domínios de negócios (ex: Ordem para Pagamento, Contratação para Aposentadoria).
  • Pipeline: Ingestão de documentos -> Normalização e fragmentação (chunking) -> Detecção de cheiros via LLM -> Extração de justificativas -> Geração de relatórios.
• Linha de Base (Benchmark): Para avaliar o desempenho, o modelo local foi comparado com um GPT personalizado (Modelo B) configurado na interface do ChatGPT Premium, utilizando os mesmos dados e prompts, mas sem ajuste de parâmetros (aprendizado em contexto).

3. Contribuições Principais

1. Análise de Requisitos: Definição de requisitos funcionais e não funcionais para ferramentas de detecção de cheiros de EA baseadas em LLMs, enfatizando a proteção de dados e a execução local.
2. Artefato Funcional: Desenvolvimento e implementação de um protótipo on-premise que utiliza um LLM ajustado (LLaMA-3.2-3B) para identificar candidatos a dívida arquitetural em texto livre.
3. Avaliação Empírica Comparativa: Uma avaliação rigorosa utilizando documentos sintéticos de uma empresa fictícia ("NextTech"), comparando um modelo local restrito de recursos com uma solução proprietária de ponta, analisando precisão, recall, tempo de processamento e escalabilidade.

4. Resultados da Avaliação

A avaliação foi conduzida em três cenários: processamento de documentos individuais, lotes de 10 documentos e um lote de 30 documentos.

• Desempenho do Modelo Local (LLaMA - Modelo A):
  • Precisão Baixa: Apresentou uma alta taxa de falsos positivos (FPR de 0,95 a 1,00). O modelo tendia a "super-detectar" cheiros, muitas vezes identificando problemas onde não existiam ou fornecendo justificativas genéricas.
  • Recall: Embora sensível, a baixa precisão tornava os resultados difíceis de usar diretamente.
  • Velocidade: Significativamente mais lento (~120 segundos por documento em CPU) devido às limitações de hardware.
  • Escalabilidade: Capaz de processar lotes maiores (30 documentos), mas com degradação na qualidade e perda de contexto específico.
• Desempenho do Modelo de Referência (GPT Customizado - Modelo B):
  • Alta Precisão: Alcançou precisão de 0,88 e uma taxa de falsos positivos muito baixa (0,09).
  • Recall Moderado: Perdeu alguns cheiros reais (recall de ~0,22 a 0,25), mas foi muito mais conservador e confiável nas detecções positivas.
  • Velocidade: Extremamente rápido (~2 segundos por documento).
  • Limitações: Não conseguiu processar lotes grandes (>10 documentos) devido a limitações da interface, e apresentou "vazamento de contexto" entre documentos no mesmo lote.
• Qualidade das Recomendações: O Modelo B gerou recomendações mais específicas e acionáveis, enquanto o Modelo A tendia a sugestões genéricas.

5. Significado e Implicações

• Viabilidade Técnica: O estudo demonstra que é possível detectar "cheiros" de arquitetura em texto não estruturado usando LLMs, mas há um trade-off claro entre privacidade/controle de dados (modelo local) e precisão/desempenho (modelo em nuvem).
• Papel na Governança: Os resultados sugerem que os LLMs não devem ser usados como diagnósticos definitivos, mas sim como ferramentas de triagem (triage signals) dentro de fluxos de trabalho com intervenção humana (human-in-the-loop).
• Desafios Identificados:
  • Alucinações e Falsos Positivos: Modelos menores e ajustados com poucos dados tendem a generalizar excessivamente.
  • Vazamento de Contexto: Em lotes de documentos, os modelos podem atribuir informações de um documento a outro.
  • Dependência de Dados: A qualidade da detecção depende criticamente da qualidade dos dados de treinamento e da definição precisa dos "cheiros".
• Futuro: O trabalho aponta para a necessidade de pipelines híbridos (combinando análise de texto não estruturado com artefatos estruturados como Grafos de Conhecimento), melhorias na curadoria de dados de treinamento e validação com múltiplos avaliadores para aumentar a confiabilidade.

Em resumo, o artigo valida o potencial dos LLMs para democratizar a análise de dívida arquitetural em documentos não estruturados, mas alerta que a implementação prática exige cuidadosa consideração das limitações de precisão dos modelos locais e da necessidade de supervisão humana para validação.