Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability

Este artículo propone un marco estructurado para gobernar el desarrollo de software científico asistido por IA dentro de estándares estrictos de aseguramiento de calidad como NQA-1, utilizando el código de energía de fusión TMAP8 para demostrar cómo procesos de verificación y validación transparentes, trazables y auditables pueden garantizar la responsabilidad humana y la fiabilidad del software.

Lo esencial

Imagina que estás construyendo una central nuclear. El software que ejecuta los controles es como el cerebro de la planta; si tiene un error minúsculo, las consecuencias podrían ser catastróficas. Durante décadas, la regla ha sido: "Solo los humanos escriben este código, y otros humanos deben verificar cada línea individualmente". Esto garantiza la seguridad, la trazabilidad y la responsabilidad.

Ahora, imagina que llega un nuevo aprendiz, increíblemente rápido y talentoso: un agente de codificación con IA. Puede escribir código, ejecutar pruebas y redactar documentación en segundos. Pero aquí está el truco: este aprendiz a veces "alucina". Podría escribir código que parece perfecto y se ejecuta sin bloquearse, pero en realidad está haciendo lo incorrecto matemáticamente, como un chef que pica perfectamente las verduras pero, por accidente, cambia la sal por azúcar.

Este artículo, titulado "Cerrando la brecha en el desarrollo de software científico asistido por IA mediante transparencia y trazabilidad", aborda una gran pregunta: ¿Cómo permitimos que este aprendiz de IA nos ayude a construir software crítico sin permitirle colar errores peligrosos?

Los autores argumentan que prohibir la IA no es la respuesta (simplemente se irá a la clandestinidad y se volverá aún más peligrosa). En cambio, necesitamos un marco de gobernanza, un conjunto de reglas estrictas, para gestionar cómo la IA ayuda.

La idea central: El "Campo de Pruebas"

Para poner a prueba estas reglas, los autores no solo hablaron de teoría; construyeron un "campo de entrenamiento" utilizando una herramienta específica de software científico llamada TMAP8.

Piensa en TMAP8 como un simulador de tritio (un combustible radiactivo utilizado en la energía de fusión). El software ya es famoso por ser ultra seguro y estar estrictamente regulado (siguiendo los estándares "NQA-1", que son como el "Estándar de Oro" de la seguridad nuclear).

Los autores utilizaron TMAP8 para probar dos escenarios, actuando como un simulador de vuelo para sus nuevas reglas:

1. El desafío de "Copiar y Pegar": Le pidieron a la IA que recreara un experimento científico conocido a partir de un artículo publicado. La IA tuvo que traducir un modelo matemático escrito por humanos a código.
   • El resultado: La IA fue rápida en las cosas aburridas (formatear archivos, crear gráficos). Sin embargo, pasó por alto un detalle sutil en el artículo original (un término de "aniquilación de defectos"). Si un humano no hubiera revisado el trabajo, la simulación habría sido incorrecta. La IA copió fielmente el error del artículo.
2. El desafío del "Inventor": Le pidieron a la IA que resolviera un problema donde no existía ningún modelo publicado. La IA tuvo que adivinar la física, construir una hipótesis y probarla contra datos reales.
   • El resultado: La IA fue increíblemente buena para la lluvia de ideas. Probó rápidamente diferentes formas de modelar una capa delgada de óxido (óxido) sobre una superficie metálica, algo que le tomaría semanas a un humano prototipar. Encontró una solución funcional mucho más rápido de lo que un humano podría hacerlo solo.

Las nuevas reglas: El contrato "AGENTS.md"

El artículo propone una solución simple pero poderosa: un archivo llamado AGENTS.md.

Piensa en este archivo como un contrato o un manual de vuelo que vive dentro del proyecto de software. Le dice a la IA exactamente cómo comportarse. Esto es lo que exige el contrato:

• Sin secretos: Cada vez que la IA escribe código, debe dejar un "recibo" (metadatos) que diga: "Yo escribí esto, y esto es lo que estaba pensando".
• El humano es el capitán: La IA es el copiloto, pero un humano debe ser siempre quien apruebe el trabajo. El humano es legal y científicamente responsable del producto final.
• La verificación del "Equipo Rojo": La IA no puede simplemente decir: "He terminado". Debe ejecutar una batería de pruebas automatizadas (como una prueba de choque) para demostrar que su código funciona. Si falla, se le envía de vuelta a la mesa de dibujo.
• Trazabilidad: Debes poder mirar el código años después y ver exactamente qué herramienta de IA se utilizó, qué versión y qué hizo el humano para corregirlo.

Las grandes lecciones aprendidas

A través de sus experimentos, los autores encontraron tres cosas clave:

1. La IA es un acelerador de velocidad, no un reemplazo: La IA puede hacer el trabajo pesado de escribir y formatear, liberando a los humanos para hacer el pensamiento difícil. Pero el humano debe seguir dirigiendo el barco.
2. La alucinación "silenciosa" es el verdadero peligro: Los errores más aterradores de la IA no son cuando escribe sinsentidos; son cuando escribe código que parece correcto pero es científicamente incorrecto. La única forma de detectarlo es con un humano que entienda la física, no solo el código.
3. Las reglas deben estar codificadas: No puedes simplemente decirle a la IA: "Por favor, recuerda tener cuidado". La IA olvida. En cambio, las reglas deben estar integradas en el software mismo (como una puerta que no se abrirá a menos que la IA haya adjuntado su "recibo" y aprobado las pruebas).

La conclusión final

El artículo concluye que no tenemos que elegir entre "Solo humanos" y "Solo IA". Podemos tener IA Gobernada.

Al tratar el desarrollo asistido por IA como un proyecto nuclear regulado, donde cada paso está documentado, cada salida es probada y un humano permanece como la autoridad última, podemos disfrutar de la velocidad de la IA sin sacrificar la seguridad y la confianza requeridas para el descubrimiento científico. El objetivo no es detener a la IA; es asegurarse de que el "aprendizaje" de la IA sea seguro, transparente y responsable.

Resumen técnico

Resumen Técnico: Cerrando la Brecha en el Desarrollo de Software Científico Asistido por IA Mediante Transparencia y Trazabilidad

Enunciado del Problema
La comunidad de software científico enfrenta un riesgo sistémico derivado de la adopción ad hoc, no guiada y en gran medida no reconocida de Modelos de Lenguaje Grande (LLM) y sistemas de IA agéntica para la generación de código, pruebas y documentación. Si bien estas herramientas aceleran el desarrollo, su uso en dominios críticos para la seguridad —específicamente aquellos regidos por estrictos estándares de Aseguramiento de la Calidad del Software (SQA) como el Nivel 1 de Aseguramiento de la Calidad Nuclear (NQA-1)— plantea desafíos significativos. Los marcos SQA tradicionales asumen autoría humana y verificación independiente. La IA introduce modos de fallo correlacionados (donde el mismo modelo genera tanto el código como las pruebas), aumenta el volumen y la complejidad del código, y produce "alucinaciones": implementaciones sintácticamente válidas pero semánticamente incorrectas. Los flujos de trabajo actuales carecen de un marco estandarizado para gobernar la participación de la IA, poniendo en riesgo la integridad de herramientas de modelado y simulación relevantes para la seguridad, donde la trazabilidad, la verificación independiente y los procedimientos documentados son primordiales.

Metodología
Los autores proponen un marco de gobernanza diseñado para integrar el desarrollo asistido por IA en entornos SQA rigurosos sin comprometer la calidad ni la responsabilidad. El marco se demuestra mediante el desarrollo de dos nuevos casos de Validación y Verificación (V&V) para TMAP8, un código de migración de tritio de código abierto y conforme a NQA-1 para energía de fusión.

La metodología se basa en un archivo de especificación ligero a nivel de repositorio (AGENTS.md) que codifica los requisitos de gobernanza directamente en la infraestructura de desarrollo. Los componentes clave de la metodología incluyen:

• Divulgación Estructurada: Todas las contribuciones deben incluir metadatos a nivel de commit que detallen el grado y la naturaleza de la participación de la IA, vinculados a problemas de desarrollo que describen la intención y la justificación del diseño.
• Trazabilidad: Los registros de sesiones legibles por máquina (.jsonl) de las interacciones con la IA se almacenan en el control de versiones, permitiendo la reconstrucción estocástica del proceso de desarrollo.
• Responsabilidad Humana: Se designa a un desarrollador humano como autor y este asume la plena responsabilidad de la contribución. Crucialmente, se requiere un revisor humano independiente para la verificación; ningún sistema agéntico, incluidos los agentes de revisión adversarios, se considera suficiente para satisfacer los requisitos de verificación de NQA-1.
• Aplicación Automatizada: Los ganchos pre-commit (pre-commit hooks) hacen cumplir requisitos de procedencia no negociables (por ejemplo, presencia de registros, completitud de metadatos) y aseguran que las contribuciones superen la suite completa de pruebas V&V antes de la revisión.
• Estudios de Caso:
  1. Desafío de Implementación: Reproducir un modelo analítico publicado sobre la liberación de tritio a partir de Li₂TiO₃ irradiado con neutrones (Kobayashi et al.). El agente tradujo un modelo existente a TMAP8 y realizó optimización de parámetros bayesiana.
  2. Desafío Impulsado por Hipótesis: Modelar la liberación de deuterio a partir de tungsteno auto-irradiado con películas delgadas de óxido (Kremer et al.) donde no existía un modelo publicado. El agente se involucró en la construcción de modelos impulsada por hipótesis, proponiendo y probando mecanismos físicos competitivos.

Contribuciones Clave

1. Marco de Gobernanza: Un marco práctico y desplegable para el desarrollo asistido por IA que se alinea con los requisitos de NQA-1. Cambia el paradigma de "solo humano" a "asistencia de IA gobernada", asegurando que la participación de la IA sea visible, trazable y sujeta a controles de calidad.
2. Especificación AGENTS.md: Una implementación concreta de la gobernanza como código, definiendo estándares de ejecución de tareas, validación, documentación y revisión que se controlan en versiones junto con la base de código.
3. Validación Empírica: El desarrollo exitoso de dos casos V&V distintos demuestra que los agentes de IA pueden acelerar tanto la implementación de modelos establecidos como la exploración de hipótesis científicas novedosas, siempre que operen dentro de límites estrictos.
4. Identificación de Modos de Fallo: El estudio documenta modos de fallo específicos, incluida la reproducción fiel de errores de documentos fuente (por ejemplo, omitir un término de aniquilación de defectos) y la generación de código excesivamente complejo o alucinado, enfatizando la necesidad de supervisión humana.

Resultados
La aplicación del marco produjo los siguientes resultados:

• Ganancias de Productividad: El flujo de trabajo asistido por agente redujo el tiempo de desarrollo para un caso de validación de aproximadamente 4–5 días a unas 6 horas. En el caso impulsado por hipótesis, el agente permitió la creación rápida de prototipos de formulaciones de modelos competitivas que habrían sido prohibitivas en costos en un flujo de trabajo puramente humano.
• Correctitud y Errores:
  • En el Caso 1, el agente tradujo exitosamente el modelo y optimizó los parámetros, reduciendo el Error Porcentual de la Raíz Cuadrática Media (RMSPE) del 23,1 % al 9,2 %. Sin embargo, inicialmente omitió un término crítico de aniquilación de defectos del documento fuente, un error detectado solo mediante revisión humana adversaria.
  • En el Caso 2, el agente construyó un modelo fenomenológico que capturó la influencia de las capas de óxido en la liberación de deuterio. Si bien reprodujo con éxito las tendencias experimentales primarias a través de diferentes espesores de óxido, requirió intervención humana para corregir la digitalización de datos alucinados y simplificar estructuras de modelos sobrecomplicadas.
• Eficacia de la Gobernanza: Las restricciones de AGENTS.md y los ganchos pre-commit hicieron cumplir exitosamente la trazabilidad y evitaron que contribuciones sin procedencia entraran en el proceso de revisión. Sin embargo, el estudio señaló que los agentes aún pueden pasar por alto instrucciones si caen fuera de su ventana de atención, lo que hace necesarias contramedidas estructurales como ganchos automatizados en lugar de depender únicamente de instrucciones del agente.

Significado y Afirmaciones
El artículo afirma que la transición al desarrollo agéntico ya es una realidad, y la elección crítica para la comunidad científica no es si permitir la IA, sino cómo gobernarla responsablemente. Los autores afirman que:

• Compatibilidad con Estándares: Los requisitos existentes de SQA y NQA-1 (trazabilidad, verificación independiente, responsabilidad) son compatibles con el desarrollo asistido por IA cuando se interpretan para incluir flujos de trabajo de IA dirigidos por humanos, siempre que el humano permanezca como autor y verificador responsable.
• Mitigación de Riesgos Sistémicos: El uso no regulado de la IA corre el riesgo de un "colapso de modelos" a largo plazo, donde los errores generados por IA se propagan a través de los datos de entrenamiento. El marco de procedencia propuesto permite a los curadores aguas abajo filtrar contribuciones sintéticas, preservando la integridad del ecosistema de software científico.
• V&V como Campo de Pruebas: Los casos de V&V, con sus criterios de corrección objetivos y alcance delimitado, sirven como un entorno ideal para establecer e iterar prácticas de gobernanza de IA antes de extenderlas al desarrollo de software científico más amplio.
• Evolución del Rol Humano: El rol del desarrollador cambia de la autoría directa de código a la ingeniería de prompts, la revisión de resultados y la supervisión científica activa. Si bien los costos cognitivos para tareas individuales disminuyen, la carga de mantener la supervisión científica y garantizar la simplicidad del modelo sigue siendo una responsabilidad humana crítica.

El artículo concluye que la gobernanza responsable del software científico asistido por IA es alcanzable hoy dentro de los estándares existentes de aseguramiento de la calidad, sin sacrificar las ganancias de productividad que motivan la adopción de la IA.