Separating AI-assisted authoring from governed execution through specification-driven composition A design framework and industrial experience report for explainable automation in regulated data transformation
본 논문은 AI 보조 저작과 거버넌스가 적용된 실행을 분리함으로써 검증되고 버전이 관리되며 완전한 추적성을 갖춘 아티팩트만이 구성 및 실행되도록 보장하여, 규제 대상 데이터 워크플로에서 AI를 안전하게 사용할 수 있도록 하는 명세 기반 구성 프레임워크를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
의료나 금융과 같은 규제 산업의 세계에서 데이터는 단순히 한 곳에서 다른 곳으로 흐르는 것이 아니라, 절대적인 정밀함을 바탕으로 변환되어야 합니다. 제약 회사가 정부 검토를 위해 데이터를 준비할 때, 모든 숫자, 날짜, 카테고리는 엄격한 규칙을 따라야 합니다. 만약 컴퓨터 프로그램이 이 과정에서 실수를 저지른다면, 그 결과는 신청서 반려부터 안전 위험에 이르기까지 매우 심각할 수 있습니다. 수십 년 동안 엔지니어들은 코드를 한 줄씩 작성하며 모든 단계가 실행되기 전에 확인, 테스트 및 승인을 거치도록 하여 이러한 프로그램을 구축해 왔습니다. 이 과정은 느리지만, 인간이 모든 결정의 통제권을 유지하기 때문에 신뢰할 수 있습니다.
오늘날 인공지능은 이러한 프로그램을 작성하는 새로운 방법을 제시합니다. 이 시스템들은 작업에 대한 설명을 읽고 몇 초 만에 필요한 코드를 생성할 수 있습니다. 이러한 속도는 아이디어를 탐색하거나 프로그램의 초기 버전을 초안하는 데 매우 유용합니다. 그러나 높은 이해관계가 걸린 환경에서는 속도가 안전을 희생하면서 얻어져서는 안 됩니다. 컴퓨터가 단순히 정답을 추측하고 즉시 실행하도록 내버려 두어서는 안 됩니다. 현대 엔지니어들의 핵심 과제는 인공지능의 속도를 활용하면서도, 최종 결과물을 설명하고 검증하며 통제할 수 있는 능력을 잃지 않는 방법을 찾는 것입니다. 그들은 기계가 초안을 작성하게 하되, 그 작업이 안전하고 정확하며 규칙을 준 따르는지 확인하기 위해 인간이 과정에 개입할 수 있는 방법을 찾아야 합니다.
이것이 바로 아마존 웹 서비스(AWS)의 연구원인 로스티슬라프 마르코프(Rostislav Markov)가 최근 규제 대상 데이터 변환에 관한 연구에서 다루고 있는 문제입니다. 그는 코드를 작성하거나 초안을 만드는 행위와 그것을 실행하는 행위를 분리하는 새로운 작업 방식을 제안합니다. 인공지능 모델이 프로그램을 생성하고 그것이 작동하기를 바라는 대신, 이 새로운 프레임워크는 AI가 먼저 상세한 계획을 생성하도록 강제합니다. '명세(specification)'라고 불리는 이 계획은 무엇을 해야 하는지, 어떤 데이터를 사용할 것인지, 그리고 어떤 규칙을 따라야 하는지를 정확하게 설명합니다. 이 계획 자체는 프로그램이 아니라, '컴포저(composer)'라고 불리는 별도의 엄격히 통제된 시스템을 위한 지침 세트입니다.
컴포저는 문지기 역할을 합니다. 컴포저는 AI가 만든 계획을 검토하고, 이를 사전 승인되고 테스트 및 검증된 '빌딩 블록(building blocks)' 라이브러리와 대조합니다. 이 블록들은 엔지니어들이 올바르게 작동함을 이미 검증한 특정 함수들입니다. 컴포저는 새로운 로직을 발명하거나 문제를 해결하는 방법을 추측하지 않습니다. 단지 계획의 단계들을 라이브러리에 있는 승인된 블록들과 일치시킬 뿐입니다. 만약 계획이 일치하는 승인된 블록이 없는 단계를 요청하거나 데이터 유형이 규칙과 일치하지 않으면, 컴포저는 중단하고 계획을 거부합니다. 모든 조각이 라이브러리와 규칙에 대해 검증될 때까지 코드를 실행하지 않습니다. 이를 통해 인공지능이 초안 작성 시 실수를 하더라도, 실제 데이터에 손을 대기 전에 그 실수가 포착되도록 보장합니다.
마르코프는 환자 정보가 정부 제출을 위한 표준 형식으로 정리되어야 하는 임상 데이터와 관련된 실제 시나리오를 사용하여 이 아이디어를 테스트했습니다. 그의 실험에서 그는 인공지능에게 이러한 변환을 위한 코드를 작성하도록 다양한 조건 하에서 요청했습니다. AI에게 단순한 텍스트 설명만 주어졌을 때, AI는 겉보기에는 올바른 것처럼 보이지만 전체 시스템에 맞지 않거나 숨겨진 규칙을 위반하는 코드를 생성하는 경우가 많았습니다. 반면, AI에게 명확한 규칙과 승인된 빌딩 블록에 대한 참조가 포함된 구조화된 계획을 제공했을 때는 결과가 훨씬 좋았습니다. 핵심적인 발견은 AI가 더 똑똑해진 것이 아니라, 그 주변의 시스템이 더 견고해졌다는 것이었습니다. AI 모델 자체가 아니라 명세, 테스트, 승인된 블록과 같은 '아티팩트(artifacts)'가 안전을 보장하는 핵심적인 역할을 수행했습니다.
이 프레임워크는 '구조적 설명 가능성(explainable by construction)'이라는 개념을 도입합니다. 인공지능에 관한 많은 논의에서 사람들은 모델이 왜 특정 결정을 내렸는지 이해하려고 노력하며, 종종 알고리즘의 '블랙박스' 내부를 들여다보려 합니다. 이 접근 방식은 다른 길을 택합니다. 규제 대상 업무를 위해서는 AI의 내면적인 생각을 이해할 필요가 없다고 주장합니다. 대신, 최종 결과로 이어진 엔지니어링 결정들을 이해해야 한다는 것입니다. 이 시스템은 승인된 블록만을 사용하도록 허용하고 최종 프로그램을 구축하는 데 사용된 모든 단계를 완벽하게 기록하기 때문에, 누구나 최종 결과를 보고 이를 특정 계획, 특정 승인된 블록, 그리고 준수된 특정 규칙으로 추적할 수 있습니다. 여기서의 설명은 AI가 무엇을 생각했는지에 대한 추측이 아니라, 무엇이 승인되었고 어떻게 조립되었는지에 대한 사실적인 기록입니다.
이 시스템의 작동 여부를 증명하기 위해, 연구원은 이 프레워크의 소규모 작동 버전을 구축했습니다. 그는 동일한 계획과 동일한 블록 라이브러리를 시스템에 두 번 제공했을 때, 매번 정확히 동일한 결과를 생성한다는 것을 보여주었습니다. 이는 재현성이 요구되는 규제 환경에서 매우 중요합니다. 또한 그는 라이브러리에 새로운 버전의 빌딩 블록이 추가되더라도, 시스템이 기존 계획에 이를 실수로 사용하지 않고 계획이 만들어질 당시 승인되었던 특정 버전을 고수한다는 것을 입증했습니다. 이는 배경에서의 변화가 프로세스의 결과를 예기치 않게 변경하는 것을 방지합니다. 시스템은 구축된 모든 프로그램에 대해 상세한 로그 또는 '트레이스(trace)'를 생성합니다. 이 로그는 최종 프로그램을 원래의 계획, 사용된 모든 빌딩 블록의 특정 버전, 그리고 통과된 검증 절차와 연결합니다.
이 연구는 이러한 직무의 분리가 규제 분야에서 인공지능의 미래에 필수적임을 시사합니다. 이는 조직이 AI의 속도를 사용하여 명세를 작성하고 코드를 쓰는 데 활용할 수 있게 하면서도, 실행에 대한 권한은 통제되고 결정론적인 시스템의 손에 남겨둡니다. AI는 인간이 더 나은 계획을 작성하도록 돕는 강력한 조수 역할을 하지만, 무엇을 실행할지 결정하는 권한을 갖지는 않습니다. 프로그램을 실행할 최종 결정은 유효한 계획의 존재, 승인된 구성 요소의 존재, 그리고 검증 프로세스의 성공적인 완료에 달려 있습니다. 이 접근 방식은 인간의 감독 필요성을 제거하는 것이 아니라, 오히려 인간에게 감독을 관리할 수 있는 더 나은 도구를 제공합니다. 명세, 규칙, 승인된 블록과 같은 아티팩트에 집중함으로써, 이 프레임워크는 인공지능이 유용하게 쓰이면서도 위험이 되지 않도록 하는 경계를 만듭니다.
결국, 이 연구는 안전한 자동화로 가는 길이 인공지능을 더 설명 가능하게 만드는 것이 아니라, 자동화를 구축하는 과정을 더 투명하게 만드는 것임을 보여줍니다. 단계가 명확하고, 규칙이 엄격하며, 구성 요소가 검증될 때, 그 결과는 신뢰할 수 있는 시스템이 됩니다. 연구자의 경험은 인공지능이 그럴듯한 코드를 생성할 수는 있지만, 코드가 실제로 정확하고 사용하기에 안전하다는 것을 보장하는 것은 명세, 테스트, 승인된 라이브러리로 이루어진 주변 구조라는 점을 보여줍니다. 모델의 지능에서 프로세스의 거버넌스로 초점을 옮기는 이 변화는, 틀려서는 안 되는 산업을 위한 실질적인 전진을 제시합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.