Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability

Este artigo propõe uma estrutura organizada para governar o desenvolvimento de software científico assistido por IA dentro de padrões rigorosos de garantia de qualidade como o NQA-1, utilizando o código de energia de fusão TMAP8 para demonstrar como processos de verificação e validação transparentes, rastreáveis e auditáveis podem assegurar a responsabilidade humana e a confiabilidade do software.

O essencial

Imagine que você está construindo uma usina de energia nuclear. O software que opera os controles é como o cérebro da usina; se houver um pequeno bug, as consequências podem ser catastróficas. Há décadas, a regra tem sido: "Apenas humanos escrevem esse código, e outros humanos devem verificar cada linha individualmente." Isso garante segurança, rastreabilidade e responsabilidade.

Agora, imagine que um novo aprendiz, incrivelmente rápido e talentoso, chega: um agente de codificação por IA. Ele pode escrever código, executar testes e redigir documentação em segundos. Mas eis o problema: esse aprendiz às vezes "alucina". Ele pode escrever código que parece perfeito e executa sem travar, mas na verdade está fazendo a coisa errada matematicamente — como um chef que pica perfeitamente os vegetais, mas acidentalmente troca o sal por açúcar.

Este artigo, intitulado "Ponte sobre a Lacuna no Desenvolvimento de Software Científico Assistido por IA Através de Transparência e Rastreabilidade", aborda uma grande questão: Como permitimos que esse aprendiz de IA nos ajude a construir software crítico sem deixar que ele introduza erros perigosos?

Os autores argumentam que proibir a IA não é a resposta (ela apenas irá para a clandestinidade e se tornará ainda mais perigosa). Em vez disso, precisamos de um quadro de governança — um conjunto de regras estritas — para gerenciar como a IA auxilia.

A Ideia Central: O "Campo de Provas"

Para testar essas regras, os autores não falaram apenas sobre teoria; eles construíram um "campo de treinamento" usando uma ferramenta específica de software científico chamada TMAP8.

Pense no TMAP8 como um simulador de trítio (um combustível radioativo usado na energia de fusão). O software já é famoso por ser ultra-seguro e estritamente regulamentado (seguindo os padrões "NQA-1", que são como o "Padrão Ouro" da segurança nuclear).

Os autores usaram o TMAP8 para testar dois cenários, atuando como um simulador de voo para suas novas regras:

1. O Desafio "Copiar e Colar": Eles pediram à IA para recriar um experimento científico conhecido de um artigo publicado. A IA teve que traduzir um modelo matemático escrito por humanos em código.
   • O Resultado: A IA foi rápida nas coisas chatas (formatar arquivos, criar gráficos). No entanto, ela perdeu um detalhe sutil no artigo original (um termo de "aniquilação de defeitos"). Se um humano não tivesse verificado o trabalho, a simulação estaria errada. A IA copiou fielmente o erro do artigo.
2. O Desafio "Inventor": Eles pediram à IA para resolver um problema onde nenhum modelo publicado existia. A IA teve que adivinhar a física, construir uma hipótese e testá-la contra dados reais.
   • O Resultado: A IA foi incrível em brainstorming. Ela rapidamente tentou diferentes maneiras de modelar uma fina camada de ferrugem (óxido) na superfície de um metal, algo que levaria semanas para um humano prototipar. Ela encontrou uma solução funcional muito mais rápido do que um humano sozinho conseguiria.

As Novas Regras: O Contrato "AGENTS.md"

O artigo propõe uma solução simples, mas poderosa: um arquivo chamado AGENTS.md.

Pense neste arquivo como um contrato ou um manual de voo que vive dentro do projeto de software. Ele diz à IA exatamente como se comportar. Eis o que o contrato exige:

• Sem Segredos: Toda vez que a IA escreve código, ela deve deixar um "recibo" (metadados) dizendo: "Eu escrevi isso, e eis o que eu estava pensando."
• O Humano é o Capitão: A IA é o copiloto, mas um humano deve sempre ser quem assina o trabalho. O humano é legal e cientificamente responsável pelo produto final.
• Verificação da "Equipe Vermelha": A IA não pode apenas dizer: "Terminei". Ela deve executar uma bateria de testes automatizados (como um teste de colisão) para provar que seu código funciona. Se falhar, é enviada de volta à prancheta.
• Rastreabilidade: Você deve ser capaz de olhar para o código anos depois e ver exatamente qual ferramenta de IA foi usada, qual versão, e o que o humano fez para corrigi-lo.

As Grandes Lições Aprendidas

Através de seus experimentos, os autores descobriram três pontos principais:

1. A IA é um Impulsionador de Velocidade, Não um Substituto: A IA pode fazer o trabalho pesado de digitação e formatação, liberando os humanos para o pensamento difícil. Mas o humano ainda deve comandar o navio.
2. A Alucinação "Silenciosa" é o Verdadeiro Perigo: Os erros mais assustadores da IA não são quando ela escreve bobagem; são quando ela escreve código que parece certo, mas está cientificamente errado. A única maneira de pegar isso é com um humano que entende a física, não apenas o código.
3. As Regras Devem Ser Codificadas: Você não pode apenas dizer à IA: "Por favor, lembre-se de ter cuidado". A IA esquece. Em vez disso, as regras devem ser incorporadas ao próprio software (como um portão que não abre a menos que a IA tenha anexado seu "recibo" e passado nos testes).

A Conclusão

O artigo conclui que não precisamos escolher entre "Apenas Humano" e "Apenas IA". Podemos ter IA Governada.

Ao tratar o desenvolvimento assistido por IA como um projeto nuclear regulamentado — onde cada passo é documentado, cada saída é testada e um humano permanece como a autoridade final — podemos desfrutar da velocidade da IA sem sacrificar a segurança e a confiança necessárias para a descoberta científica. O objetivo não é parar a IA; é garantir que o "aprendizado" da IA seja seguro, transparente e responsável.

Resumo técnico

Resumo Técnico: Superando o Divisório no Desenvolvimento de Software Científico Assistido por IA Através de Transparência e Rastreabilidade

Declaração do Problema
A comunidade de software científico enfrenta um risco sistêmico decorrente da adoção ad hoc, desorientada e amplamente não reconhecida de Modelos de Linguagem Grandes (LLMs) e sistemas de IA agêntica para geração de código, testes e documentação. Embora essas ferramentas acelerem o desenvolvimento, seu uso em domínios críticos para a segurança — especificamente aqueles regidos por rigorosos padrões de Garantia da Qualidade de Software (SQA) como o Nível 1 de Garantia da Qualidade Nuclear (NQA-1) — apresenta desafios significativos. Os quadros tradicionais de SQA assumem autoria humana e verificação independente. A IA introduz modos de falha correlacionados (onde o mesmo modelo gera tanto o código quanto os testes), aumenta o volume e a complexidade do código e produz "alucinações": implementações sintaticamente válidas, mas semanticamente incorretas. Os fluxos de trabalho atuais carecem de um quadro padronizado para governar o envolvimento da IA, arriscando a integridade de ferramentas de modelagem e simulação relevantes para a segurança, onde rastreabilidade, verificação independente e procedimentos documentados são primordiais.

Metodologia
Os autores propõem um quadro de governança projetado para integrar o desenvolvimento assistido por IA em ambientes rigorosos de SQA sem comprometer a qualidade ou a responsabilidade. O quadro é demonstrado através do desenvolvimento de dois novos casos de Validação e Verificação (V&V) para o TMAP8, um código de migração de trítio de código aberto e compatível com NQA-1 para energia de fusão.

A metodologia baseia-se num ficheiro de especificação leve a nível de repositório (AGENTS.md) que codifica os requisitos de governança diretamente na infraestrutura de desenvolvimento. Os componentes-chave da metodologia incluem:

• Divulgação Estruturada: Todas as contribuições devem incluir metadados ao nível do commit, detalhando o grau e a natureza do envolvimento da IA, ligados a questões de desenvolvimento que descrevem a intenção e a racionalidade do design.
• Rastreabilidade: Registos de sessão legíveis por máquina (.jsonl) de interações com IA são armazenados no controlo de versão, permitindo a reconstrução estocástica do processo de desenvolvimento.
• Responsabilidade Humana: Um desenvolvedor humano é designado como autor e assume a total responsabilidade pela contribuição. Crucialmente, é exigido um revisor humano independente para verificação; nenhum sistema agêntico, incluindo agentes de revisão adversariais, é considerado suficiente para satisfazer os requisitos de verificação do NQA-1.
• Aplicação Automatizada: Ganchos de pré-commit (pre-commit hooks) aplicam requisitos de proveniência não negociáveis (por exemplo, presença de registos, completude dos metadados) e garantem que as contribuições passam na totalidade da suite de testes de V&V antes da revisão.
• Estudos de Caso:
  1. Desafio de Implementação: Reprodução de um modelo analítico publicado para a libertação de trítio a partir de Li₂TiO₃ irradiado por neutrões (Kobayashi et al.). O agente traduziu um modelo existente para o TMAP8 e realizou otimização bayesiana de parâmetros.
  2. Desafio Orientado por Hipóteses: Modelagem da libertação de deutério a partir de tungsténio auto-irradiado com filmes finos de óxido (Kremer et al.), onde não existia um modelo publicado. O agente envolveu-se na construção de modelos orientada por hipóteses, propondo e testando mecanismos físicos concorrentes.

Contribuições Principais

1. Quadro de Governança: Um quadro prático e implementável para o desenvolvimento assistido por IA que se alinha com os requisitos do NQA-1. Desloca o paradigma de "apenas humanos" para "assistência de IA governada", garantindo que o envolvimento da IA seja visível, rastreável e sujeito a controlos de qualidade.
2. Especificação AGENTS.md: Uma implementação concreta da governança como código, definindo padrões de execução de tarefas, validação, documentação e revisão que são controlados por versão juntamente com a base de código.
3. Validação Empírica: O desenvolvimento bem-sucedido de dois casos distintos de V&V demonstra que agentes de IA podem acelerar tanto a implementação de modelos estabelecidos como a exploração de novas hipóteses científicas, desde que operem dentro de limites estritos.
4. Identificação de Modos de Falha: O estudo documenta modos de falha específicos, incluindo a reprodução fiel de erros provenientes de documentos fonte (por exemplo, omitir um termo de aniquilação de defeitos) e a geração de código excessivamente complexo ou alucinado, enfatizando a necessidade de supervisão humana.

Resultados
A aplicação do quadro produziu os seguintes resultados:

• Ganhos de Produtividade: O fluxo de trabalho assistido por agente reduziu o tempo de desenvolvimento para um caso de validação de aproximadamente 4–5 dias para cerca de 6 horas. No caso orientado por hipóteses, o agente permitiu a prototipagem rápida de formulações de modelos concorrentes que teriam sido proibitivamente caras num fluxo de trabalho puramente humano.
• Correção e Erros:
  • No Caso 1, o agente traduziu com sucesso o modelo e otimizou os parâmetros, reduzindo o Erro Percentual Quadrático Médio (RMSPE) de 23,1% para 9,2%. No entanto, omitiu inicialmente um termo crítico de aniquilação de defeitos do artigo fonte, um erro detetado apenas através de revisão humana adversarial.
  • No Caso 2, o agente construiu um modelo fenomenológico que capturou a influência das camadas de óxido na libertação de deutério. Embora tenha reproduzido com sucesso as tendências experimentais primárias através de diferentes espessuras de óxido, exigiu intervenção humana para corrigir a digitalização de dados alucinada e simplificar estruturas de modelos excessivamente complicadas.
• Eficácia da Governança: As restrições do AGENTS.md e os ganchos de pré-commit aplicaram com sucesso a rastreabilidade e impediram que contribuições sem proveniência entrassem no processo de revisão. No entanto, o estudo notou que os agentes ainda podem ignorar instruções se estas caírem fora da sua janela de atenção, tornando necessárias contramedidas estruturais como ganchos automatizados, em vez de confiar exclusivamente em instruções do agente.

Significado e Alegações
O artigo afirma que a transição para o desenvolvimento agêntico já é uma realidade, e a escolha crítica para a comunidade científica não é se permitir a IA, mas como governá-la de forma responsável. Os autores afirmam que:

• Compatibilidade com Normas: Os requisitos existentes de SQA e NQA-1 (rastreabilidade, verificação independente, responsabilidade) são compatíveis com o desenvolvimento assistido por IA quando interpretados para incluir fluxos de trabalho de IA dirigidos por humanos, desde que o humano permaneça como autor e verificador responsável.
• Mitigação de Risco Sistêmico: O uso não regulamentado de IA arrisca um "colapso de modelos" a longo prazo, onde erros gerados por IA se propagam através dos dados de treino. O quadro de proveniência proposto permite que curadores a jusante filtrem contribuições sintéticas, preservando a integridade do ecossistema de software científico.
• V&V como Campo de Prova: Os casos de V&V, com os seus critérios objetivos de correção e âmbito delimitado, servem como um ambiente ideal para estabelecer e iterar práticas de governança de IA antes de as estender ao desenvolvimento mais amplo de software científico.
• Evolução do Papel Humano: O papel do desenvolvedor desloca-se da autoria direta de código para engenharia de prompts, revisão de saída e supervisão científica ativa. Embora os custos cognitivos para tarefas individuais diminuam, o fardo de manter a supervisão científica e garantir a simplicidade do modelo permanece uma responsabilidade humana crítica.

O artigo conclui que a governança responsável do software científico assistido por IA é alcançável hoje dentro dos padrões existentes de garantia de qualidade, sem sacrificar os ganhos de produtividade que motivam a adoção da IA.