Resumo Técnico: Sobre as Limitações dos Modelos de Linguagem de Grande Porte para Modelagem Conceitual de Banco de Dados

Declaração do Problema

O projeto de bancos de dados relacionais depende fortemente da fase de modelagem conceitual, onde os requisitos do sistema são traduzidos em diagramas Entidade-Relacionamento (ER). Esse processo é tradicionalmente desafiador devido a ambiguidades, omissões e inconsistências nos requisitos em linguagem natural, exigindo frequentemente validação iterativa por especialistas do domínio. Embora os Modelos de Linguagem de Grande Porte (LLMs) tenham surgido como ferramentas potenciais para automatizar a extração de entidades, relacionamentos e atributos a partir de requisitos textuais, sua confiabilidade em cenários complexos e do mundo real permanece não comprovada. Especificamente, há uma falta de compreensão sobre como diferentes estratégias de prompt e arquiteturas de modelo se comportam quando encarregados de gerar diagramas ER estrutural e semanticamente consistentes, particularmente à medida que a complexidade das restrições de negócios aumenta.

Metodologia

O estudo emprega um framework experimental para avaliar o desempenho de LLMs na geração de diagramas ER a partir de requisitos em linguagem natural.

• Construção do Conjunto de Dados: Três documentos de requisitos foram desenvolvidos para um único cenário factual (gestão de acesso hospitalar), apresentando complexidade progressivamente crescente através da adição cumulativa de restrições de negócios. Os documentos evitaram deliberadamente jargão técnico para simular entradas de clientes não especialistas. Um diagrama ER de referência para o cenário mais complexo foi criado para servir como padrão ouro.
• Modelos Avaliados: Dois LLMs de alto desempenho foram testados:
  • Qwen-3: Representando a categoria de pesos abertos, selecionado por seu forte desempenho em benchmarks de codificação e raciocínio.
  • GPT-5.1: Representando os modelos proprietários de última geração, selecionado por suas capacidades de raciocínio adaptativo.
• Técnicas de Prompting: Os modelos foram submetidos a três estratégias de prompt distintas:
  1. Zero-Shot (One-shot): Instruções diretas sem etapas explícitas de raciocínio.
  2. Cadeia de Pensamento (CoT): Instruções exigindo raciocínio passo a passo para identificar elementos implícitos.
  3. Cadeia de Pensamento + Verificador: CoT seguido por uma etapa de validação automática para simular uma revisão crítica.
• Implementação: Um framework baseado em Python automatizou o pipeline: processamento de texto via LLM, normalização da saída JSON para garantir consistência estrutural e renderização dos diagramas ER finais usando Graphviz.
• Critérios de Avaliação: Uma avaliação qualitativa e subjetiva foi conduzida usando um sistema de classificação ordinal (L1–L4) baseado em quatro dimensões:
  • Completude: Identificação de todas as entidades, relacionamentos e atributos.
  • Corretude: Precisão dos tipos de relacionamento, cardinalidades e restrições.
  • Clareza: Nomeação inequívoca e layout legível.
  • Simplicidade/Flexibilidade: Evitação de complexidade desnecessária e suporte para evolução futura.
  • Nota: A avaliação não operacionalizou esses critérios em métricas quantitativas (por exemplo, contagens exatas de erros), confiando, em vez disso, em julgamento qualitativo de especialistas.

Principais Resultados

Os resultados experimentais indicam que os LLMs atuais ainda não são suficientemente maduros para modelagem conceitual de banco de dados confiável e autônoma, particularmente à medida que a complexidade do cenário aumenta.

• Teto de Desempenho: Nenhum dos diagramas gerados alcançou L3 (Robustez Estrutural e Integridade de Dados). O modelo Qwen falhou em atingir até mesmo L1 (Reconhecimento Básico de Escopo) em várias instâncias.
• Vieses Específicos do Modelo:
  • GPT-5.1 (Especificação Excessiva): Exibiu uma tendência à "criatividade indevida", introduzindo entidades e relacionamentos redundantes não presentes nos requisitos. Por exemplo, criou relacionamentos diretos entre entidades de alto nível e registros de acesso que já estavam ligados transitivamente, comprometendo a simplicidade do esquema e a integridade dos dados. Lutou para distinguir entre atributos fundamentais e derivados.
  • Qwen (Especificação Insuficiente): Demonstrou um viés de omissão, falhando em identificar entidades, atributos e relacionamentos essenciais. Frequentemente colapsou papéis distintos (por exemplo, enfermeiros versus médicos) em uma única entidade genérica, perdendo distinções semânticas críticas e falhando em modelar restrições específicas (por exemplo, relacionamentos de médico supervisor).
• Impacto do Prompting: Embora a estratégia Cadeia de Pensamento (CoT) tenha mostrado uma melhoria significativa em relação à linha de base Zero-Shot em termos de clareza de raciocínio, a adição de uma etapa de Verificador mostrou-se limitada. O verificador falhou em detectar falhas críticas que comprometiam a integridade do banco de dados relacional, como cardinalidades incorretas ou restrições ausentes.

Significado e Contribuições

O artigo faz as seguintes contribuições para o campo da modelagem de banco de dados e IA:

1. Revisão de Literatura Sintetizada: Fornece uma revisão das aplicações de LLMs na modelagem conceitual, contrastando-as com métodos clássicos de PNL que são frequentemente rígidos e específicos de linguagem.
2. Conjunto de Dados Novel: Os autores construíram um novo conjunto de dados contendo requisitos textuais e um diagrama ER de referência, projetado especificamente para a avaliação sistemática de LLMs neste domínio.
3. Evidência Empírica de Limitações: O estudo fornece dados empíricos demonstrando que os LLMs, em seu estado atual, introduzem riscos significativos (redundância, omissão, inconsistência semântica) quando aplicados a tarefas complexas de modelagem de banco de dados.
4. Análise de Engenharia de Prompt: Oferece uma análise comparativa mostrando que, embora técnicas avançadas de prompt (CoT) melhorem o raciocínio, elas não garantem atualmente a corretude estrutural necessária para esquemas de banco de dados de nível de produção.

Conclusão e Direções Futuras

Os autores concluem que, embora os LLMs possam gerar artefatos textuais rapidamente, sua adoção acrítica para modelagem conceitual de banco de dados pode comprometer a qualidade do produto final. O esforço necessário para validar e corrigir diagramas gerados por LLMs frequentemente compensa os ganhos aparentes de produtividade, especialmente em cenários complexos.

O artigo sugere que o trabalho futuro não deve focar em substituir o analista, mas em usar LLMs como ferramentas de suporte para etapas intermediárias específicas do processo de modelagem. As direções propostas incluem a configuração de agentes especializados para identificar e propor resoluções para ambiguidades em documentos de requisitos como uma etapa preliminar de validação semântica, em vez de esperar que os modelos realizem modelagem conceitual e lógica de ponta a ponta diretamente a partir do texto.