Resumo Técnico: Avaliação de Desempenho de LLMs Locais para Natural-Language-to-SQL em Manufatura Biofarmacêutica

Declaração do Problema

A manufatura biofarmacêutica opera sob rigorosos marcos regulatórios (FDA 21 CFR Part 11, EU GMP, EU AI Act) que impõem requisitos de residência e soberania de dados, criando barreiras significativas para a adoção de serviços de IA baseados em nuvem. Embora modelos de Linguagem de Grande Escala (LLMs) implantados localmente ofereçam uma alternativa preservadora de privacidade para a geração de Natural Language to SQL (NLQ-to-SQL), há uma falta de evidências empíricas sobre sua viabilidade e desempenho em hardware de nível de consumo para este domínio específico. Os benchmarks existentes (ex: Spider, BIRD, BiomedSQL) focam em conjuntos de dados de propósito geral ou raciocínio científico sobre dados genômicos, falhando em abordar os vocabulários de colunas específicos, padrões de consulta e contextos regulatórios de Sistemas de Execução de Manufatura (MES) e registros de lote. Além além disso, permanece incerto se o pré-treinamento biomédico específico de domínio oferece vantagem sobre modelos de propósito geral ou ajustados para código para a geração de T-SQL estruturado.

Metodologia

O estudo avaliou quatro LLMs de código aberto, com 7B–8B de parâmetros, implantados localmente via mecanismo de inferência Ollama em hardware de nível de consumo (Intel Core i7-9750H, 32GB RAM, NVIDIA GTX 1650 4GB VRAM). Os modelos avaliados foram:

• Qwen 2.5 Coder 7B: Centrado em código, fortemente treinado em programação e SQL.
• Llama 3.1 8B: Propósito geral com ajuste de instrução e uma grande janela de contexto.
• Mistral 7B: Propósito geral com atenção de janela deslizante (sliding-window attention).
• Meditron 7B: Variante do Llama 2 ajustada para fins médicos (pré-treinada em PubMed/diretrizes clínicas).

Configuração Experimental:

• Dataset: Um banco de dados sintético MS SQL Server chamado PharmaBatchDB contendo aproximadamente 63.000 linhas em sete tabelas abrangendo três módulos: Lote (Batch), MES e Limpeza no Local (CIP).
• Conjunto de Avaliação: 60 pares de pergunta-referência NLQ-para-T-SQL específicos do domínio, estratificados por módulo (20 por módulo) e dificuldade (18 fáceis, 24 médias, 18 difíceis).
• Arquitetura do Sistema: Um pipeline local (PharmaBatchDB AI) construído com FastAPI. Ele impõe um usuário de banco de dados de apenas leitura, valida o SQL via inspeção de AST de sqlglot (bloqueando instruções não-SELECT e tabelas fora de escopo) e mantém logs de auditoria de apenas adição (append-only).
• Prompting: Estratégia zero-shot com um prompt de sistema contendo regras de sintaxe T-SQL e o esquema completo do módulo ativo. A temperatura foi definida em 0.1 para saída quase determinística.
• Métricas:
  • Taxa de Extração de SQL: Proporção de perguntas que geram SQL extraível.
  • Taxa de Conformidade de SQL: Proporção de SQL extraído que é válido, apenas SELECT e dentro do escopo do módulo.
  • Consistência Factual (FC): Similaridade de Jaccard entre os conjuntos de resultados das consultas geradas vs. de referência (métrica de qualidade primária).
  • ROUGE-L: Similaridade lexical com as consultas de referência (métrica secundária).
  • Taxa de Alucinação: Proporção de SQL extraído que falha na conformidade.
  • Desempenho: Tokens Por Segundo (TPS) e Tempo para o Primeiro Token (TTFT).

Um experimento de acompanhamento foi conduzido no Meditron 7B usando um prompt de esquema truncado (<1.000 tokens) para isolar limitações de janela de contexto de deficiências de capacidade de geração.

Resultados Principais

1. Níveis de Desempenho dos Modelos

• Melhores Desempenhos: Qwen 2.5 Coder 7B e Llama 3.1 8B atingiram 100% de Taxas de Extração de SQL.
  • Llama 3.1 8B apresentou a maior Conformidade de SQL com 93,33% (56/60) e uma Taxa de Alucinação de 6,67%.
  • Qwen 2.5 Coder 7B alcançou 88,33% de Conformidade (53/60) com uma Taxa de Alucinação de 11,67%.
  • Nota Estatística: A diferença de 5% na conformidade entre Llama e Qwen não foi estatisticamente significativa (Fisher's exact p = 0,529). Ambos os modelos superaram significativamente o Mistral e o Meditron.
• Nível Intermediário: Mistral 7B atingiu 100% de extração, mas apenas 25,00% de Conformidade (15/60). Demonstrou alta sensibilidade à complexidade do esquema, com a conformidade caindo de 40% no módulo simples de Batch para 15% no módulo complexo de MES.
• Nível Inferior: Meditron 7B atingiu 0,00% de Conformidade de SQL em todas as 60 perguntas na condição padrão. Extraiu SQL de apenas 1/60 questões devido ao transbordamento da janela de contexto (limite de 2.048 tokens).

2. Impacto da Janela de Contexto e Treinamento de Domínio

O experimento de acompanhamento do Meditron 7B (esquema truncado) revelou que, embora a redução do tamanho do prompt tenha permitido a extração de SQL de 28/30 perguntas (aumentando de 1/30), todas as 28 consultas extraídas falharam na validação de conformidade (taxa de alucinação de 100%). Isso indica que a falha não foi apenas devido ao transbordamento de contexto; o modelo carecia da capacidade inerente de gerar T-SQL válido para esquemas de manufatura, sugerindo que o pré-treinamento biomédico sobre a base Llama 2 não conferiu habilidades de geração de SQL e pode ter diluído essas capacidades.

3. Dificuldade e Sensibilidade ao Módulo

• Llama 3.1 8B manteve conformidade consistente entre os níveis de dificuldade (94,4% em Difícil, 91,7% em Médio).
• Qwen 2.5 Coder 7B mostrou uma queda notável de desempenho em questões de dificuldade média (83,3% de conformidade), que envolviam agregações de múltiplas tabelas e filtragem condicional.
• O desempenho do Mistral 7B degradou monotonicamente com a dificuldade, caindo para 5,56% de conformidade em questões difíceis.

4. Métricas de Desempenho

• Consistência Factual: Qwen (0,34) superou ligeiramente o Llama (0,30), embora ambos os escores sejam modestos, indicando que mesmo as consultas conformes frequentemente recuperavam conjuntos de resultados parciais ou levemente incorretos.
• Latência: Em hardware de CPU de consumo, o TPS variou de 3,2 a 4,4 tokens/segundo, com TTFT em torno de 11 segundos. Isso é suficiente para fluxos de trabalho analíticos, mas não para dashboards interativos.

Principais Contribuições

1. Benchmark de Domínio Específico: Introdução do PharmaBatchDB AI, um benchmark sintético projetado especificamente para tarefas de NLQ-para-SQL de manufatura farmacêutica, abordando uma lacuna na literatura existente.
2. Evidência Empírica de Implantação Local: Demonstração de que um pipeline de NLQ totalmente local e alinhado ao GxP (com logs de auditoria, acesso de apenas leitura e validação AST) é viável em hardware de nível de consumo.
3. Insights de Seleção de Modelos: Evidência de que modelos de propósito geral ajustados para código (Qwen, Llama) superam substancialmente modelos biomédicos de domínio (Meditron) em tarefas de T-SQL estruturado neste contexto, principalmente devido à capacidade da janela de contexto e capacidades do modelo base, em vez de pré-treinamento de domínio.
4. Estrutura de Alinhamento Regulatório: Um mapeamento das funcionalidades do sistema para requisitos regulatórios específicos (FDA 21 CFR Part 11, EU AI Act), fornecendo um blueprint para implantação local em conformidade.

Significância e Alegações

O artigo alega que, embora os LLMs locais de 7B–8B possam servir como ferramentas de rascunho de consultas dentro de um ambiente regulado, eles não estão prontos para tomada de decisão operacional não supervisionada. Os modestos escores de Consistência Factual (0,30–0,34) tornam necessária a revisão humana e uma camada de validação downstream para qualquer uso relevante para GxP.

O estudo conclui que:

• O pré-treinamento biomédico não é um substituto para a capacidade de SQL: A falha do Meditron 7B destaca que o ajuste fino de domínio em arquiteturas antigas (Llama 2) sem janelas de contexto adequadas pode resultar em uma perda de habilidades de geração estruturada.
• Modelos generalistas são candidatos viáveis: Llama 3.1 8B e Qwen 2.5 Coder 7B são candidatos plausíveis para implantação, com o Llama mostrando uma taxa de conformidade numericamente (embora não estatisticamente) superior, tornando-o um padrão potencialmente de menor risco na ausência de camadas de validação robustas.
• Dados sintéticos são uma ferramenta válida de pré-certificação: O benchmark sintético permite a validação técnica e a montagem de evidências para submissões regulatórias antes de tocar em dados de produção, reduzindo as barreiras de adoção.

Os autores enfatizam que o ranking refinado entre Llama e Qwen permanece estatisticamente não resolvido com o tamanho de amostra atual (n=60) e que trabalhos futuros devem validar esses achados contra esquemas de produção do mundo real e consultas de referência de múltiplos autores.