Engineering Systems for Data Analysis Using Interactive Structured Inductive Programming

이 논문은 인간과 LLM 간의 상호작용을 통해 데이터 분석 워크플로우를 선언적 표현으로 분해하고 코드를 생성하는 'iProg' 도구를 제안하며, 천체물리학과 생화학 분야의 사례를 통해 기존 노코드 방식보다 성능과 코드 품질이 우수하며 개발 속도가 획기적으로 향상됨을 입증합니다.

핵심

이 논문은 **"복잡한 과학 데이터 분석 프로그램을 만드는 일을, 인간과 AI 가 손잡고 함께 빠르고 정확하게 해내는 새로운 방법"**을 소개합니다.

기존의 방식은 두 가지 극단으로 나뉘어 있었습니다:

1. 전통적인 개발: 사람이 하나하나 코드를 짜는 방식. (정확하지만 매우 느리고 비쌈)
2. 최근의 '노코드 (No Code)' 방식: AI 에게 "이거 만들어줘"라고 말만 하면 바로 코드를 뚝딱 만들어주는 방식. (빠르지만 코드가 엉망이거나 실행이 안 되는 경우가 많음)

이 논문은 이 두 가지의 단점을 모두 해결하는 iProg라는 도구를 제안합니다.

---

🏗️ 비유로 이해하는 iProg 의 핵심 아이디어

이 과정을 **'건축 프로젝트'**에 비유해 보겠습니다.

1. 문제점: "그냥 만들어줘"라고 하면 무슨 일이 생길까?

• 기존 AI 방식 (노코드): 건축주 (사용자) 가 "집 좀 지어줘"라고만 말하면, AI 는 바로 벽돌을 쌓기 시작합니다. 하지만 설계도가 없으니, 화장실이 부엌에 붙거나 계단이 2 층으로 이어지지 않는 엉망진창인 집이 나올 수 있습니다. 나중에 고치려면 아예 다시 지어야 할 수도 있습니다.
• 전통 방식: 건축주가 직접 설계도부터 그리고, 벽돌 하나하나를 손으로 쌓습니다. 집은 완벽하지만, 시간이 너무 오래 걸려서 집이 완성될 때쯤에는 건축주가 늙어 있습니다.

2. iProg 의 해결책: "설계도 먼저, 그다음 시공"

iProg 는 두 단계로 나누어 작업을 합니다.

1 단계: 설계도 그리기 (구조 파악)

• AI 는 먼저 "우리가 무엇을 할지"에 대한 **설계도 (DFD, 데이터 흐름도)**를 그립니다.
• 이때 인간 (건축주/엔지니어) 이 "아니야, 여기는 화장실이 아니라 침실이어야 해"라고 **수정 (Refute)**하거나 "좋아, 이대로 해"라고 **승인 (Ratify)**합니다.
• 핵심: AI 가 막상 코드를 짜기 전에, 작업의 흐름과 구조를 인간과 함께 먼저 합의하는 것입니다.

2 단계: 시공하기 (코드 생성)

• 설계도가 확정되면, 이제 AI 는 설계도에 맞춰 각 방 (모듈) 을 하나씩 지어냅니다.
• AI 가 "벽을 쌓았어요"라고 하면, 인간이 "벽이 튼튼한지 확인해 볼게"라고 검증합니다.
• 이 과정을 반복하며 하나하나 검증된 부품들을 조립합니다.

---

🌟 왜 이 방법이 특별한가요? (핵심 장점)

1. "블랙박스"가 아닌 "투명한" 협업

• 일반적인 AI 는 "내가 이렇게 했어"라고 말만 할 뿐, 왜 그렇게 했는지 설명하기 어렵습니다.
• iProg 는 **의사소통 규칙 (프로토콜)**을 정해둡니다. AI 는 "이게 내 제안인데, 조건은 A 고 결과는 B 야"라고 명확하게 말하고, 인간은 "조건이 맞지 않아, 고쳐줘"라고 구체적으로 지적할 수 있습니다. 마치 명확한 대화 규칙이 있는 회의처럼 작동합니다.

2. 실패를 미리 막는 '안전장치'

• 논문에서 실험한 결과, 일반적인 AI 는 복잡한 과학 데이터 분석을 시도하면 실행 오류가 나거나 아예 작동하지 않는 코드를 만들었습니다.
• 하지만 iProg 를 쓴 경우, 구조를 먼저 잡았기 때문에 코드가 훨씬 깔끔하고, 오류도 거의 없었습니다.

3. 속도와 품질의 두 마리 토끼

• 속도: 기존에 엔지니어 23 명이 12 달 걸려 만들던 시스템을, iProg 를 사용하면 엔지니어 1 명이 4~10 일 만에 만들 수 있었습니다. (약 10 배 이상 빠름)
• 품질: 만든 시스템의 정확도도 기존 수작업 방식과 비슷하거나 더 좋았습니다.

---

📊 실제 실험 결과 (별과 단백질 이야기)

논문은 두 가지 실제 과학 프로젝트로 이 방법을 테스트했습니다.

1. 천체물리학 (별의 탄생 예측): 수만 개의 은하 데이터를 분석해 별이 어떻게 태어나는지 예측하는 시스템.
   • 결과: iProg 가 만든 시스템은 기존 수작업 시스템보다 오류가 훨씬 적고, 코드는 훨씬 깔끔했습니다.
2. 생화학 (항균 펩타이드 분류): 단백질이 항균제 역할을 하는지 분류하는 시스템.
   • 결과: 다른 AI 도구들은 이 복잡한 작업을 전혀 해내지 못했지만, iProg 는 성공적으로 작동하는 시스템을 만들었습니다.

---

💡 결론: AI 는 '도구'일 뿐, 인간은 '지휘자'

이 논문의 가장 중요한 메시지는 **"AI 가 모든 것을 대신할 수는 없지만, 인간과 함께 규칙을 지키며 일하면 놀라운 성과를 낼 수 있다"**는 것입니다.

• AI는 아이디어를 내고 초안을 작성하는 재능 있는 조수입니다.
• 인간은 방향을 잡고 품질을 검증하는 현명한 지휘자입니다.

iProg 는 이 두 명이 서로 오해하지 않고, 명확한 규칙 (설계도와 승인/거부 신호) 을 통해 함께 일할 수 있게 해주는 완벽한 협업 도구입니다. 덕분에 우리는 더 빠르고, 더 안전한 과학적 발견을 위한 소프트웨어를 만들 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

과학적 데이터 분석을 위한 정보 시스템 (Information Systems, IS) 을 구축하는 과정은 다음과 같은 심각한 도전 과제에 직면해 있습니다:

• 복잡한 워크플로우: 대규모 솔루션 공간의 탐색과 도메인 전문가와의 긴밀한 협업이 필요합니다.
• 유지보수와 해석 가능성: 구현된 시스템이 유지 가능하고 해석 가능해야 합니다.
• 기존 방법론의 한계:
  • 전통적인 수동 개발: 신뢰성은 높지만 시간이 매우 많이 소요됩니다.
  • LLM 기반 'No Code' 접근법: 속도는 빠르지만, 생성된 코드가 부정확하거나 구조가 부재하며 유지보수가 어렵고 신뢰성이 떨어집니다.
• 핵심 병목 현상: 복잡한 분석 시스템에서 코드 생성 이전에 적절한 시스템 분해 (System Decomposition) 를 결정하는 것이 가장 큰 난제입니다. 자연어 명세는 모호하며, LLM 은 다단계 추론과 워크플로우 설계에 어려움을 겪습니다.

2. 제안된 방법론: iProg (Methodology)

저자들은 iProg라는 도구를 제안하며, 이는 상호작용 구조화 귀납 프로그래밍 (Interactive Structured Inductive Programming) 을 구현합니다. 이 방법은 LLM 과 인간의 협업을 통해 과학적 데이터 분석 작업을 자동화합니다.

핵심 프로세스

iProg 는 두 단계로 구성된 2 단계 구조를 따릅니다:

1. 구조 학습 (Structure Identification - iStruc):

   • 자연어 문제 설명을 입력받아, LLM 이 데이터 흐름 다이어그램 (DFD, Data Flow Diagram) 형태의 시스템 분해안을 제안합니다.
   • DFD 는 프로세스 (작업), 데이터 소스/저장소, 그리고 정보 흐름을 명시적으로 표현합니다. 각 프로세스는 자연어 설명, 전제조건 (Pre-condition), 사후조건 (Post-condition) 을 포함합니다.
   • 상호작용 프로토콜: 인간은 LLM 의 제안에 대해 RATIFY (승인), REFUTE (부정), REJECT (거부) 태그를 사용하여 피드백을 제공합니다. 이를 통해 LLM 은 DFD 구조를 수정하고 인간이 최종적으로 승인할 때까지 반복합니다.

2. 코드 생성 (Code Generation - iCode):

   • 승인된 DFD 의 각 프로세스에 대해 LLM 이 코드를 생성합니다.
   • 2-way Intelligibility 프로토콜을 적용하여, 인간이 생성된 코드와 설명을 검증합니다.
   • 검증된 하위 프로그램들이 DFD 의 연결성에 따라 조립되어 종단 간 (End-to-End) 실행 가능한 시스템을 구성합니다.

기술적 특징

• 구조화된 프롬프트: 자연어 설명, 전/사후 조건, DFD 구조가 LLM 의 행동을 안내하는 구조화된 프롬프트 역할을 합니다.
• 반복적 검증: LLM 이 생성한 모든 산출물 (구조와 코드) 에 대해 인간의 검증 (Human-ratification) 을 필수적으로 거칩니다.

3. 주요 기여 (Key Contributions)

1. 반자동 소프트웨어 엔지니어링 방법론: 자연어 문제 설명에서 시스템 분해 (DFD) 를 식별하고, 인간이 승인한 코드를 생성하는 새로운 방법론 제시.
2. 과학적 데이터 분석을 위한 워크플로우 지향 IS 개발: LLM 을 활용하되, 명시적인 DFD 기반 설계와 검증 프로토콜을 통해 정확성과 유지보수성을 보장.
3. iProg 도구 개발: 자연어 명세에서 사용자 인증 시스템 개발로의 전환을 지원하는 도구 구현.
4. 실증적 평가: 두 가지 실제 과학적 협업 사례 (천체물리학, 생화학) 를 통해 기존 Low Code/No Code 방식 및 수동 개발 대비 성능, 품질, 개발 효율성을 입증.

4. 실험 결과 (Results)

저자들은 천체물리학 (PHY: 은하 형성 속도 예측) 과 생화학 (BIO: 항균 펩타이드 분류) 의 두 가지 실제 과학적 데이터 분석 시스템을 대상으로 실험을 수행했습니다.

성능 및 품질 비교

• 시스템 성능 (오차율):
  • iProg: PHY 및 BIO 모두에서 기존 수동 개발 시스템과 유사하거나 더 낮은 오차율을 기록했습니다 (예: PHY 별 형성 예측 오차 0.030 vs 수동 0.164).
  • Low Code/No Code (LLM-0, CP-0 등): 대부분 실행 오류 (Runtime Error) 가 발생하거나 비기능적인 시스템을 생성하여 실패했습니다.
  • Unstructured Low Code (LLM-k): 구조화 없이 자유로운 피드백을 주는 방식은 iProg 보다 오차가 훨씬 컸고, 복잡한 BIO 문제에서는 완전히 실패했습니다.
• 코드 품질:
  • iProg 는 모듈화된 구조와 명시적 인터페이스를 가진 코드를 생성하여 논리적 점수 (Logic score) 가 높았습니다 (PHY 기준 6.69/10).
  • 반면, No Code/Low Code 방식은 코드가 짧았으나 (모놀리식 구조), 논리적 결함이 많거나 실행 불가능했습니다.
• 개발 노력 (Development Effort):
  • 시간: 수동 개발 (2-6 인월) 대비 iProg 는 단일 엔지니어가 0.13~0.3 인월 (약 4~10 일) 만에 완료하여 약 10 배 이상 빠른 개발 속도를 보였습니다.
  • 상호작용 횟수: 구조 식별 (3-4 회) 과 코드 생성 (프로세스당 2-3 회) 을 포함한 총 상호작용 횟수는 적었으며, 효율적인 수렴을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 다음과 같은 중요한 시사점을 제공합니다:

1. 구조화의 중요성: DFD 기반의 모듈화 구조는 문제 이해를 돕고, 특정 부분의 수정 시 전체 시스템에 영향을 주지 않도록 하여 유지보수성을 극대화합니다.
2. LLM 의 구조 제안 능력: LLM 은 고수준 문제 설명을 바탕으로 도메인 전문가의 사고방식과 유사한 워크플로우 (DFD) 를 제안할 수 있으며, 이는 인간이 수정하여 승인하기에 좋은 시작점이 됩니다.
3. 프로토콜 기반 상호작용의 효과: 명시적인 태그 (RATIFY, REFUTE 등) 를 사용한 제한된 상호작용 프로토콜은 LLM 의 환각 (Hallucination) 을 줄이고, 인간 검증 하에 신속하게 올바른 시스템으로 수렴하게 합니다.
4. 인간 검증의 필수성: 완전 자동화보다는 인간-LLM 협업이 필수적입니다. 인간의 검증이 있을 때만 LLM 이 생성한 구조와 코드의 신뢰성과 정확성을 보장할 수 있습니다.

결론적으로, iProg 는 과학적 데이터 분석과 같은 복잡한 정보 시스템 엔지니어링 분야에서, LLM 의 생성 능력을 활용하면서도 인간의 전문성을 결합하여 고품질, 유지보수 가능, 그리고 개발 시간이 단축된 시스템을 구축할 수 있는 유효한 패러다임을 제시합니다. 이 접근법은 에너지 분석, 환경 모니터링 등 다양한 데이터 집약적 분야로 확장 가능합니다.