Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability

본 논문은 NQA-1 과 같은 엄격한 품질 보증 표준 하에서 AI 지원 과학 소프트웨어 개발을 관리하기 위한 구조화된 프레임워크를 제안하며, 투명하고 추적 가능하며 감사 가능한 검증 및 유효성 검증 프로세스가 어떻게 인간의 책임성과 소프트웨어 신뢰성을 보장할 수 있는지를 TMAP8 핵융합 에너지 코드를 통해 입증한다.

핵심

원자력 발전소를 건설한다고 상상해 보세요. 제어 장치를 운영하는 소프트웨어는 발전소의 두뇌와 같습니다. 만약 그 안에 아주 작은 버그가 있다면, 그 결과는 재앙적일 수 있습니다. 수십 년간 지켜온 규칙은 다음과 같습니다: "이 코드는 오직 인간이 작성해야 하며, 다른 인간들이 모든 단일 줄을 이중으로 점검해야 한다." 이는 안전성, 추적 가능성, 그리고 책임 소재를 보장합니다.

이제, 매우 빠르고 재능 있는 새로운 견습생이 등장한다고 상상해 보세요. 바로 AI 코딩 에이전트입니다. 이 에이전트는 몇 초 만에 코드를 작성하고, 테스트를 실행하며, 문서 초안을 작성할 수 있습니다. 하지만 여기에는 함정이 있습니다. 이 견습생은 때때로 "환각 (hallucination)"을 일으킵니다. 완벽해 보이고 충돌 없이 실행되는 코드를 작성할 수 있지만, 실제로는 수학적으로 잘못된 일을 하고 있을 수 있습니다. 마치 소금 대신 설탕을 실수로 넣는 요리사가 야채를 완벽하게 다지는 것과 같습니다.

**"투명성과 추적 가능성을 통한 AI 지원 과학 소프트웨어 개발의 격차 해소"**라는 제목의 이 논문은 다음과 같은 큰 질문을 다룹니다: 우리는 어떻게 이 AI 견습생이 위험한 실수를 슬쩍 끼워 넣지 않으면서도 중요한 소프트웨어를 구축하는 데 도움을 줄 수 있을까요?

저자들은 AI 를 금지하는 것이 해법이 아니라고 주장합니다 (그렇게 하면 AI 는 지하로 숨어들어 더 위험해질 뿐입니다). 대신 우리는 AI 가 어떻게 도움을 주는지 관리하기 위한 거버넌스 프레임워크—즉, 엄격한 규칙의 집합—가 필요합니다.

핵심 아이디어: "연습장 (Proving Ground)"

이러한 규칙들을 테스트하기 위해 저자들은 이론에 대해 논의하는 것을 넘어, TMAP8이라는 특정 과학 소프트웨어 도구를 사용하여 "훈련장"을 구축했습니다.

TMAP8 을 삼중수소 (핵융합 에너지에 사용되는 방사성 연료) 시뮬레이터로 생각하세요. 이 소프트웨어는 이미 "원자력 안전의 금표준"으로 불리는 "NQA-1" 표준을 준수하며 초안전하고 엄격하게 규제받는 것으로 유명합니다.

저자들은 TMAP8 을 사용하여 새로운 규칙들을 테스트하는 비행 시뮬레이터처럼 두 가지 시나리오를 실행했습니다:

1. "복사 - 붙여넣기" 도전: 그들은 AI 에게 출판된 논문에서 알려진 과학 실험을 재현하도록 요청했습니다. AI 는 인간이 작성한 수학적 모델을 코드로 변환해야 했습니다.
   • 결과: AI 는 파일 포맷팅이나 그래프 작성과 같은 지루한 작업에서는 빨랐습니다. 그러나 원래 논문에서 미묘한 세부 사항 (결함 소멸 항) 을 놓쳤습니다. 만약 인간이 작업을 점검하지 않았다면 시뮬레이션은 잘못된 결과가 나왔을 것입니다. AI 는 논문 속의 실수를 충실히 복사했습니다.
2. "발명가" 도전: 그들은 AI 에게 출판된 모델이 존재하지 않는 문제를 해결하도록 요청했습니다. AI 는 물리학을 추측하고, 가설을 세우며, 실제 데이터와 비교하여 테스트해야 했습니다.
   • 결과: AI 는 브레인스토밍에 탁월했습니다. 금속 표면의 얇은 산화층 (rust) 을 모델링하는 다양한 방법을 빠르게 시도했는데, 이는 인간이 프로토타입을 만드는 데 몇 주가 걸릴 작업이었습니다. AI 는 인간이 혼자 할 때보다 훨씬 빠르게 작동하는 해결책을 찾았습니다.

새로운 규칙: "AGENTS.md" 계약

이 논문은 간단하지만 강력한 해결책을 제안합니다: **AGENTS.md**라는 파일입니다.

이 파일을 소프트웨어 프로젝트 내부에 존재하는 계약서나 비행 매뉴얼로 생각하세요. 이 파일은 AI 에게 정확히 어떻게 행동해야 하는지 알려줍니다. 이 계약서가 요구하는 내용은 다음과 같습니다:

• 비밀 금지: AI 가 코드를 작성할 때마다 "내가 이걸 썼고, 여기가 내가 생각한 바입니다"라고 말하는 "영수증 (메타데이터)"을 남겨야 합니다.
• 인간이 캡틴이다: AI 는 조종사 (co-pilot) 이지만, 최종 작업을 승인하는 것은 반드시 인간이어야 합니다. 인간은 최종 제품에 대해 법적으로 그리고 과학적으로 책임을 집니다.
• "적군 (Red Team)" 점검: AI 는 "완료했다"라고만 말해서는 안 됩니다. 코드가 작동함을 증명하기 위해 충돌 테스트와 같은 자동화된 테스트 세트를 실행해야 합니다. 실패하면 다시 설계대로 돌아가야 합니다.
• 추적 가능성: 수년 후 코드를 살펴봤을 때, 어떤 AI 도구가 사용되었는지, 어떤 버전이었는지, 그리고 인간이 이를 수정하기 위해 무엇을 했는지 정확히 확인할 수 있어야 합니다.

얻은 주요 교훈

실험을 통해 저자들은 세 가지 핵심 사실을 발견했습니다:

1. AI 는 속도 부스터이지 대체제가 아니다: AI 는 타이핑과 포맷팅과 같은 무거운 작업을 처리하여 인간이 어려운 사고를 할 수 있도록 자유롭게 합니다. 하지만 인간은 여전히 배를 조종해야 합니다.
2. "침묵하는" 환각이 실제 위험이다: 가장 무서운 AI 오류는 엉뚱한 글을 쓸 때가 아니라, 잘 보이는 코드를 작성하지만 과학적으로 잘못된 코드를 작성할 때 발생합니다. 이를 포착하는 유일한 방법은 코드가 아닌 물리학을 이해하는 인간입니다.
3. 규칙은 하드코딩되어야 한다: AI 에게 "조심할 것을 기억해 주세요"라고 말해서는 안 됩니다. AI 는 잊어버립니다. 대신 규칙은 소프트웨어 자체에 내장되어야 합니다 (AI 가 "영수증"을 첨부하고 테스트를 통과하지 않으면 열리지 않는 문과 같이).

결론

이 논문은 "인간만"과 "AI 만" 사이에서 선택해야 한다고 결론 내리지 않습니다. 우리는 거버넌스가 적용된 AI를 가질 수 있습니다.

모든 단계가 문서화되고, 모든 산출물이 테스트되며, 인간이 최종 권한을 유지하는 규제된 원자력 프로젝트처럼 AI 지원 개발을 다룸으로써, 우리는 과학적 발견에 필요한 안전성과 신뢰를 희생하지 않으면서 AI 의 속도를 누릴 수 있습니다. 목표는 AI 를 멈추는 것이 아니라, AI 의 "견습 기간"이 안전하고 투명하며 책임 있는 것이도록 보장하는 것입니다.

기술 요약

기술 요약: 투명성과 추적성을 통한 AI 지원 과학 소프트웨어 개발 간극 해소

문제 제기
과학 소프트웨어 커뮤니티는 코드 생성, 테스트, 문서화를 위해 임의적이고, 지도가 없으며, 대부분 인정되지 않는 대규모 언어 모델 (LLM) 및 에이전트 AI 시스템의 채택으로 인한 체계적 위험에 직면해 있습니다. 이러한 도구들이 개발을 가속화하지만, 핵품질보증 1 등급 (NQA-1) 과 같은 엄격한 소프트웨어 품질 보증 (SQA) 표준에 의해 규제되는 안전-중요 분야, 특히 해당 분야에서 사용될 때 심각한 도전을 제기합니다. 전통적인 SQA 프레임워크는 인간 작성과 독립적 검증을 전제로 합니다. AI 는 상관된 실패 모드 (동일한 모델이 코드와 테스트를 모두 생성하는 경우) 를 도입하고, 코드 양과 복잡성을 증가시키며, 구문적으로는 유효하지만 의미론적으로 잘못된 구현인 '환각 (hallucinations)'을 생성합니다. 현재 워크플로에는 AI 관여를 규제할 표준화된 프레임워크가 부재하여, 추적성, 독립적 검증, 문서화된 절차가 최우선인 안전 관련 모델링 및 시뮬레이션 도구의 무결성이 위험에 처해 있습니다.

방법론
저자들은 품질이나 책임성을 훼손하지 않고 AI 지원 개발을 엄격한 SQA 환경에 통합하도록 설계된 거버넌스 프레임워크를 제안합니다. 이 프레임워크는 융합 에너지를 위한 오픈소스 NQA-1 준수 삼중수소 이동 코드인 TMAP8 에 대한 두 가지 새로운 검증 및 확인 (V&V) 사례 개발을 통해 시연됩니다.

방법론은 개발 인프라에 거버넌스 요구사항을 직접 인코딩하는 경량의 저장소 수준 지정 파일 (AGENTS.md) 에 의존합니다. 방법론의 주요 구성 요소는 다음과 같습니다:

• 구조화된 공개: 모든 기여는 의도와 설계 근거를 설명하는 개발 이슈와 연결된, AI 관여의 정도와 성격을 상세히 기술하는 커밋 수준 메타데이터를 포함해야 합니다.
• 추적성: AI 상호작용의 기계 가독성 세션 로그 (.jsonl) 가 버전 관리에 저장되어 개발 과정의 확률적 재구성을 가능하게 합니다.
• 인간 책임성: 인간 개발자가 작성자로 지정되어 기여에 대한 전적인 책임을 집니다. 특히, 독립적인 인간 검토자가 검증을 위해 필수적이며, 적대적 검토 에이전트를 포함한 어떤 에이전트 시스템도 NQA-1 검증 요구사항을 충족하기에 충분하다고 간주되지 않습니다.
• 자동화된 집행: 사전 커밋 훅 (pre-commit hooks) 은 비타협적 출처 요구사항 (예: 로그 존재, 메타데이터 완전성) 을 집행하고, 기여가 검토 전에 전체 V&V 테스트 스위트를 통과하도록 보장합니다.
• 사례 연구:
  1. 구현 과제: 중성자 조사된 Li₂TiO₃ (Kobayashi 등) 에서의 삼중수소 방출에 대한 출판된 분석 모델을 재현하는 과제. 에이전트는 기존 모델을 TMAP8 으로 번역하고 베이지안 매개변수 최적화를 수행했습니다.
  2. 가설 주도 과제: 얇은 산화막이 있는 자가 조사 텅스텐에서의 중수소 방출을 모델링하는 과제 (Kremer 등). 이 경우 출판된 모델이 존재하지 않았습니다. 에이전트는 가설 주도 모델 구축에 참여하여 경쟁 물리 메커니즘을 제안하고 테스트했습니다.

주요 기여

1. 거버넌스 프레임워크: NQA-1 요구사항과 부합하는 실용적이고 배포 가능한 AI 지원 개발 프레임워크입니다. 이는 '인간 전용'에서 '거버넌스된 AI 지원'으로 패러다임을 전환하여, AI 관여가 가시적이고 추적 가능하며 품질 관리의 대상이 되도록 보장합니다.
2. AGENTS.md 지정: 코드베이스와 함께 버전 관리되는 작업 실행, 검증, 문서화 및 검토 표준을 정의하는 '코드로서의 거버넌스'의 구체적인 구현입니다.
3. 실증적 검증: 두 가지 구별된 V&V 사례의 성공적인 개발은, AI 에이전트가 엄격한 범위 내에서 작동할 경우 확립된 모델의 구현과 새로운 과학적 가설의 탐구 모두를 가속화할 수 있음을 입증합니다.
4. 실패 모드 식별: 이 연구는 소스 문서의 오류를 충실히 재현하는 것 (예: 결함 소멸 항 생략) 과 과도하게 복잡하거나 환각된 코드 생성을 포함한 특정 실패 모드를 문서화하여 인간 감독의 필요성을 강조합니다.

결과
프레임워크의 적용은 다음과 같은 결과를 낳았습니다:

• 생산성 향상: 에이전트 지원 워크플로는 검증 사례의 개발 시간을 약 4~5 일에서 약 6 시간으로 단축했습니다. 가설 주도 사례에서는 에이전트가 순전히 인간 워크플로에서는 비용이 너무 많이 들어 실행 불가능했을 경쟁 모델 형식의 신속한 프로토타이핑을 가능하게 했습니다.
• 정확성과 오류:
  • 사례 1 에서 에이전트는 모델을 성공적으로 번역하고 매개변수를 최적화하여 Root Mean Square Percent Error (RMSPE) 를 23.1% 에서 9.2% 로 줄였습니다. 그러나 초기에 소스 논문에서 중요한 결함 소멸 항을 생략했는데, 이는 적대적 인간 검토를 통해서만 발견된 오류였습니다.
  • 사례 2 에서 에이전트는 산화막이 중수소 방출에 미치는 영향을 포착하는 현상론적 모델을 구축했습니다. 다양한 산화막 두께에 걸쳐 주요 실험 경향을 성공적으로 재현했지만, 환각된 데이터 디지털화 수정과 과도하게 복잡한 모델 구조 단순화를 위해 인간 개입이 필요했습니다.
• 거버넌스 효과성: AGENTS.md 제약과 사전 커밋 훅은 추적성을 성공적으로 집행하고 출처가 없는 기여가 검토 프로세스로 진입하는 것을 방지했습니다. 그러나 연구는 에이전트가 주의 창 (attention window) 밖의 지시를 간과할 수 있음을 지적하여, 에이전트 지시에만 의존하는 것이 아니라 자동화된 훅과 같은 구조적 대응책이 필요함을 강조했습니다.

의의 및 주장
이 논문은 에이전트 개발로의 전환이 이미 현실이며, 과학 커뮤니티의 중요한 선택은 AI 를 허용할지 여부가 아니라 어떻게 책임 있게 거버넌스할 것인가라고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 표준과의 호환성: 기존 SQA 및 NQA-1 요구사항 (추적성, 독립적 검증, 책임성) 은 인간이 지시하는 AI 워크플로를 포함하도록 해석될 때, 인간이 책임 있는 작성자 및 검증자로 남아 있는 한 AI 지원 개발과 호환됩니다.
• 체계적 위험 완화: 규제되지 않은 AI 사용은 장기적으로 AI 생성 오류가 훈련 데이터를 통해 전파되는 '모델 붕괴'의 위험이 있습니다. 제안된 출처 프레임워크는 하류 큐레이터가 합성 기여물을 필터링하여 과학 소프트웨어 생태계의 무결성을 보존할 수 있게 합니다.
• V&V 를 입증의 장으로: 객관적 정확성 기준과 제한된 범위를 가진 V&V 사례는 이를 더 넓은 과학 소프트웨어 개발로 확장하기 전에 AI 거버넌스 관행을 확립하고 반복하기에 이상적인 환경을 제공합니다.
• 인간 역할의 진화: 개발자의 역할은 직접적인 코드 작성에서 프롬프트 엔지니어링, 출력 검토, 능동적 과학 감독으로 전환됩니다. 개별 작업의 인지적 비용은 감소하지만, 과학적 감독을 유지하고 모델의 단순성을 보장하는 부담은 여전히 중요한 인간의 책임입니다.

이 논문은 AI 채택을 동기부여하는 생산성 향상분을 희생하지 않으면서도, 기존 품질 보증 표준 내에서 오늘날 책임 있는 AI 지원 과학 소프트웨어 거버넌스가 가능하다고 결론지었습니다.