Resumo Técnico: Síntese de Design de Conceito Verificada por LLM

Declaração do Problema

Sistemas de software modernos são cada vez mais montados através da composição de unidades comportamentais reutilizáveis (ex: autenticação, rotulagem, controle de acesso). Embora definir o comportamento de unidades individuais seja frequentemente simples, especificar a lógica de coordenação que garante que essas unidades interajam de forma segura é difícil. A metodologia de Design de Conceito [Jac21] aborda isso organizando aplicações em torno de "conceitos" (unidades de funcionalidade autossuficientes e voltadas ao usuário) conectados por "reações" (regras de sincronização).

No entanto, o Design de Conceito carece atualmente de uma semântica formal para as reações. Essa ausência torna difícil:

1. Definir precisamente o que um design significa.
2. Verificar automaticamente se um design preserva invariantes de segurança (ex: "dados sensíveis não devem permanecer em uma fila de mensagens mortas/dead-letter queue").
3. Sintetizar a lógica de coordenação de forma segura e automática.

Além disso, mesmo que um design satisfaça um invariante de segurança, ele pode não corresponder à intenção do usuário. Muitos designs de reação distintos podem satisfazer o mesmo invariante, incluindo designs implausíveis (ex: desclassificar dados sensíveis para satisfazer um invariante em vez de mover os dados). O artigo identifica a necessidade de um mecanismo para direcionar a síntese para o design pretendido pelo usuário sem exigir que o usuário formalize totalmente sua intenção em restrições lógicas complexas.

Metodologia

O artigo introduz o foundry, um protótipo que implementa um loop de Síntese Indutiva Guiada por Contraexemplos (CEGIS) impulsionado por Grandes Modelos de Linguagem (LLMs). A metodologia consiste em três componentes principais:

1. Semântica Formal

Os autores definem uma semântica baseada em autômatos para conceitos e reações:

• Conceitos são modelados como semiautômatos parciais inicializados (máquinas de estado determinísticas com entradas, mas sem saídas).
• Reações são modeladas como um semiautômato monitor parcial que observa o autômato do conceito composto. As reações disparam com base em gatilhos (when), condições de estado (where) e efeitos (then).
• Composição: A aplicação é uma composição síncrona dos autômatos dos conceitos e do monitor de reação.
• Alvo de Verificação: A segurança é verificada checando se a aplicação está "estabilizada" (sem obrigações pendentes) exatamente quando o invariante de segurança é atendido. Isso é codificado em Alloy 6 e verificado usando model checking limitado (bounded model checking).

2. Loop de Síntese Impulsionado por LLM

O processo de síntese opera da seguinte forma:

1. Proposta: Um LLM propõe reações candidatas (ou revisa as existentes) para satisfazer um determinado invariante.
2. Tradução: Um segundo agente traduz as descrições dos conceitos, reações e invariantes (atualmente escritos em linguagem natural) para Alloy 6.
3. Verificação: O verificador de modelo Alloy verifica o design candidato contra o invariante e quaisquer cenários fornecidos.
4. Feedback: Se a verificação falhar, o contraexemplo (um rastro que viola o invariante ou o cenário) é enviado de volta ao LLM para refinar o design.

3. Mecanismos de Direcionamento (Steering)

Para abordar a natureza "subespecificada" da síntese baseada apenas em invariantes, o artigo propõe dois mecanismos de direcionamento:

• Prompts de Linguagem Natural: Fornecer descrições textuais do comportamento pretendido juntamente com o invariante.
• Síntese Guiada por Cenários: Fornecer cenários positivos (permitidos) e negativos (proibidos). Diferente dos prompts, os cenários possuem semântica formal e podem ser verificados automaticamente contra os designs candidatos.
• Elicitação de Cenários: Um procedimento impulsionado por LLM onde o modelo propõe prefixos curtos de ações que violam o invariante, e o usuário classifica-os como desejáveis ou indesejáveis. O modelo então propõe reparos (sufixos) para os prefixos desejáveis. Isso desloca a tarefa do usuário de autoria de cenários para a classificação deles.

Principas Contribuições

1. Semântica Formal: Uma semântica baseada em autômatos para conceitos e reações de Design de Conceito, permitindo a verificação limitada de invariantes e cenários.
2. Loop de Síntese Verificado: Um procedimento de síntese de estilo CEGIS, impulsionado por LLM, para gerar designs de reação, integrado a um mecanismo guiado por cenários para direcionar a síntese para os designs pretendidos.
3. Elicitação de Cenários: Uma técnica impulsionada por LLM para apoiar a exploração precoce do design, permitindo que os usuários classifiquem cenários propostos que violam o invariante em vez de criá-los do zero.
4. Avaliação Empírica: Uma avaliação abrangente em três aplicações (Fila de Mensagens Mortas com dados sensíveis, Sistema de Gestão de Cursos, Links de Evidência de Uso Único) e doze variantes de design usando o LLM GPT-5.5.

Resultados

A avaliação, conduzida em um benchmark de 12 variantes de design, gerou as seguintes descobertas:

• Síntese Baseada Apenas em Invariantes:

  • Os LLMs frequentemente alcançam um design verificado rapidamente (muitas vezes na primeira tentativa).
  • No entanto, os designs raramente são estáveis entre as execuções.
  • A síntese baseada apenas em invariantes frequentemente produz designs implausíveis (ex: proibir ações válidas ou desclassificar dados) porque os invariantes sozinhos subespecificam o espaço de design.

• Direcionamento por Cenário vs. Prompt:

  • A síntese guiada por cenários recuperou designs pretendidos de forma mais consistente do que o prompting de linguagem natural (10/12 variantes vs. 8/12 variantes com inputs iniciais).
  • Cenários são mais fáceis de revisar mecanicamente (puramente aditivos) comparados aos prompts, que podem ser frágeis e ambíguos.
  • Overfitting (Sobreajuste): Conjuntos mínimos de cenários podem levar ao overfitting, onde o modelo falha em generalizar (ex: lidar apenas com cardinalidades específicas de mensagens). Adicionar cenários com cardinalidades variadas mitigou esse problema.

• Elicitação de Cenários:

  • A elicitação de 20 cenários recuperou o design pretendido em 9/12 variantes, comparado a 5/12 com 10 cenários.
  • Não-determinismo: A proposta de cenários pelo LLM é não-determinística; diferentes execuções elicitam diferentes conjuntos de cenários, levando a resultados não-monotônicos (mais cenários nem sempre garantem melhor cobertura).
  • Comportamentos Perdidos: Se o processo de elicitação perder um cenário crítico (ex: um caminho específico de matrícula), a síntese pode convergir para um design que proíbe esse comportamento, o que não era a intenção.

• Modos de Falha:

  • Os principais modos de falha foram a falta de cenários críticos (falta de cobertura) e o overfitting (falha de generalização).
  • Problemas de qualidade incluíram reações e condições redundantes, embora isso não tenha afetado a correção em relação ao invariante.

Significância e Alegações

O artigo afirma que a verificação formal é essencial ao usar LLMs para síntese de design de alto nível. Embora os LLMs possam frequentemente gerar designs que satisfaçam invariantes simples, eles não podem ser confiáveis para produzir o design pretendido sem direcionamento adicional.

A significância do trabalho reside em demonstrar que cenários servem como artefatos de direcionamento eficazes e verificáveis. Eles preenchem a lacuna entre os requisitos formais de segurança (invariantes) e a intenção informal do usuário. O artigo argumenta que, enquanto os invariantes garantem a segurança, os cenários garantem a ** plausibilidade e o alinhamento de intenção**.

Os autores mantêm a modéstia sobre o estado atual do protótipo:

• A tradução de linguagem natural para Alloy depende de um LLM, introduzindo uma potencial fonte de erro (embora a inspeção manual não tenha encontrado problemas nos designs verificados finais).
• A verificação é limitada (bounded); a ausência de contraexemplos não garante correção ilimitada.
• A avaliação é limitada a uma configuração de LLM (GPT-5.5) e um conjunto específico de benchmarks, embora uma verificação cruzada com o Claude Fable 5 tenha mostrado sucesso semelhante, sugerindo que a abordagem não é específica de um modelo.
• Trabalho futuro é necessário para substituir a tradução baseada em LLM por uma linguagem de origem formal, escalar a verificação para aplicações maiores e melhorar a elicitação de cenários para lidar com o não-determinismo e lacunas de cobertura de forma mais robusta.