Acceptance-Test-Driven Evaluation Protocols for Business-Centric LLM Systems

Resumo Técnico: Protocolos de Avaliação Baseados em Testes de Aceitação para Sistemas de LLM Centrados em Negócios

Declaração do Problema
Aplicações de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implementadas em ambientes operacionais de alto risco (ex: atendimento ao cliente, redação jurídica, triagem clínica), onde devem satisfazer requisitos institucionais determinísticos, apesar de dependerem de componentes generativos probabilísticos. Esse descompasso torna o benchmarking pós-hoc comum insuficiente para sistemas que exigem segurança, confiabilidade, auditabilidade e utilidade econômica. Os fluxos de trabalho atuais frequentemente carecem de um mecanismo para satisfazer repetidamente requisitos explícitos sob incerteza, levando a riscos como alucinação, vazamento de dados, regressão silenciosa e recusa excessiva (over-refusal) quando modelos, prompts ou corpora de recuperação mudam.

Metodologia: A Extensão ATDLLMD
O artigo propõe uma extensão ao Desenvolvimento de LLM Baseado em Testes de Aceitação (ATDLLMD), adaptando princípios da engenharia de software (especificamente o Desenvolvimento Baseado em Testes de Aceitação) e da engenharia de segurança para o ciclo de vida do LLM. A metodologia central substitui os fluxos de trabalho tradicionais de "prompt-primeiro" ou "benchmark-depois" por um ciclo de vida red-train-green (vermelho-treinar-verde):

1. Red (Definição de Falha): Antes de qualquer mudança no sistema, as equipes definem testes de aceitação falhos baseados nos objetivos das partes interessadas (stakeholders). Estes não são simples asserções de correspondência exata, mas artefatos complexos que incluem conjuntos de dados, rubricas, modelos avaliadores, políticas de segurança, limiares de tolerância e regras de decisão estatística.
2. Train (Melhoria do Sistema): O sistema é iterativamente melhorado para passar nesses testes. Os mecanismos incluem revisão de prompts, ajuste de recuperação, restrição de ferramentas, atualização de políticas, ajuste fino (fine-tuning), geração de dados sintéticos e redesenho de interface (UI).
3. Green (Portões de Lançamento): A implantação ocorre apenas quando o sistema satisfaz portões multidimensionais com confiança estatística e rastreabilidade.

Principais Contribuições
O artigo descreve quatro contribuições específicas que estendem o enquadramento ATDLLMD existente:

1. O Ciclo de Vida Red-Train-Green: Um loop de desenvolvimento formalizado onde contratos de aceitação e testes falhos precedem as mudanças no modelo, e falhas em tempo de execução retroalimentam o ciclo de especificação.
2. Arquitetura de Referência: Uma separação entre o Tempo de Execução da Aplicação (UI, orquestração, recuperação, endpoints de modelos) e o Plano de Controle de Avaliação. O plano de controle gerencia o registro de requisitos, ativos de avaliação, mecanismos de pontuação (scoring harnesses), serviços de portão de lançamento e processadores de feedback de monitoramento. Essa separação garante comparabilidade histórica quando os componentes mudam.
3. A Pilha de Métricas: Um framework de governança multidimensional que avalia candidatos através de seis dimensões para evitar compensações ocultas (ex: melhorar a utilidade enquanto se degrada a segurança):
   • Utilidade Funcional: Sucesso da tarefa e satisfação de restrições.
   • Fundamentação Factual: Validade de citações e atribuição de recuperação.
   • Segurança e Proteção: Resistência a injeção de prompt, vazamento de dados e falsas recusas.
   • Robustez: Estabilidade através de paráfrases, idiomas e contextos ruidosos.
   • Qualidade Operacional: Latência, custo de tokens e taxas de timeout.
   • Valor de Negócio: Taxas de contenção, qualidade de escalonamento e satisfação do usuário.
4. Protocolo de Avaliação Empírica: Um desenho de estudo proposto para comparar o ATDLLMD contra baselines de "prompt-primeiro" e "benchmark-depois". O protocolo sugere o uso de suítes de avaliação de retenção (holdout), amostragem repetida para confiança estatística (usando testes do tipo McNemar ou modelos Bayesianos) e adjudicação humana calibrada para medir resultados reais de desenvolvimento.

Resultados e Alegações
Como um preprint que propõe um framework e um protocolo, o artigo não apresenta resultados empíricos de um estudo comparativo concluído. Em vez disso, ele alega a seguinte significância:

• Operacionalização da Governança: O framework traduz conceitos de governança de alto nível (ex: NIST AI Risk Management Framework, taxonomia OWASP LLM, ISO/IEC 42001) em portões de aceitação mensuráveis e executáveis.
• Mudança na Disciplina de Desenvolvimento: Argumenta-se que a avaliação deve ser projetada como um artefato durável, e não improvisada pós-projeto. Ao tratar os testes de aceitação como a especificação primária, o framework visa mover a descoberta de falhas dos encontros de usuários pós-implantação para a validação pré-lançamento.
• Rastreabilidade e Evidência: A abordagem garante que as decisões de desenvolvimento sejam rastreáveis, as regressões sejam visíveis e as falhas sejam convertidas em evidências reutilizáveis (casos de regressão permanentes) em vez de incidentes anedóticos.
• Alinhamento com o Negócio: Ao derivar critérios de aceitação de resultados das partes interessadas (taxas de resolução, risco regulatório, custos de suporte), o framework alinha a iteração técnica com o valor de negócio e as restrições de segurança.

Significância
O artigo postula que, embora o comportamento do LLM não possa ser tornado totalmente determinístico, o processo de desenvolvimento pode ser tornado determinístico e auditável. A significância reside em mover-se do "ajuste de prompts" (prompt tinkering) para um substrato de engenharia de sistemas onde os requisitos de negócio e as restrições de segurança moldam a arquitetura antes do início da implementação. Os autores concluem que o próximo passo crítico é a comparação empírica rigorosa em projetos reais para quantificar se fluxos de trabalho do tipo ATDLLMD reduzem defeitos escapados e diminuem o custo da iteração segura.