T2MM: An LLM Supported Architecture For Inquiry-Based Modeling

기술 요약: T2MM – 탐구 기반 모델링을 위한 LLM 지원 아키텍처

문제 정의
모델 구축은 과학 학습 및 탐구 기반 교육의 기초적인 실천으로, 학습자가 개념 모델을 시각화하고, 상호작용하며, 반복적으로 정교화하는 과정을 필요로 한다. 대규모 언어 모델(LLM)이 코딩이나 글쓰기와 같은 과목의 교육적 맥락에는 통합되어 왔으나, 과학 학습에서의 적용은 인터랙티브한 멀티모달 출력을 생성하는 기술적 어려움으로 인해 주로 텍스트 기반 상호작용에 머물러 왔다. 교육을 위한 기존의 멀티모달 아키텍처들은 필요한 다단계 상호작용성을 지원하지 못하거나, 동적인 시각화를 생성할 때 기술적 한계에 부딪히는 경우가 많다. 특히, 전체 코드(예: XML 또는 코드 블록 전체를 처음부터 생성) 생성을 의존하는 시스템은 과학적 모델링 소프트웨어와 같이 온톨로지가 특화된 복잡한 환경에서 현재 모델 상태에 대한 문맥 인지 능력이 부족하여 오류를 초-래하는 경우가 빈번하다.

방법론
저자들은 생태학 기반의 개념 모델링 및 시뮬레이션 플랫폼인 VERA(Virtual Experimental Research Assistant) 내에서 학습자의 모델 구축을 지원하기 위해 설계된 견고한 아키텍처인 **T2MM(Text to Multimodal Model)**을 제안한다.

• 아키텍처 설계:
  T2MM은 세 가지 구성 요소의 루프를 통해 작동한다:

1. VERA 시스템: 학습자는 채팅 인터페이스를 통해 상호작용한다. 시스템은 현재 모델의 상태(VERA 데이터베이스의 XML로 표현됨)를 검색하고 이를 최소화된 JSON 형식으로 변환한다.
2. LLM 시스템 (ChatGPT-4.1-mini): 시스템은 현재 모델 JSON, 학습자의 자연어 요청, 그리고 VERA 온톨로지와 N-shot 예시가 포함된 프롬프트를 LLM에 전달한다. 결정적으로, LLM은 최종 모델 코드나 XML을 생성하도록 요청받지 않는다. 대신, 현재 상태를 목표 상태로 변환하는 데 필요한 일련의 동작(예: "노드 생성", "관계 편집", "노드 삭제")을 생성한다.
3. 동작 시퀀스 파서 및 API: 생성된 동작 시퀀스는 논리적 일관성(예: 무기물 노드가 생물 노스를 소비하는 것을 방지)을 보장하기 위해 VERA 온톨로지에 따라 검증된다. 검증된 동작은 특정 VERA API 호출(예: addNode(), updateParameter())로 매핑되어, 데이터베이스를 업데이트하고 프런트엔드에 변경 사항을 실시간으로 렌더링한다.

• 평가 전략:
  기술적 타당성을 측정하기 위해 저자들은 자연어 요청과 대상 모델의 쌍으로 구성된 975개의 커스텀 프로시저 생성 데이터셋을 제작하였다. 이는 전문가의 생물학 모델로부터 유도되었으며, 다양한 생성 단계로 분해되고 알고리즘적으로 수정되었다.
  T2MM 아키텍처는 전체 코드 생성에 의존하는 두 가지 베이스라인과 비교되었다:
• 0-Shot: LLM이 예시 없이 직접 XML을 생성함.
• N-Shot: LL로 모델/요청/XML 삼중항의 퓨샷 예시를 직접 XML을 생성함.

성능은 네 가지 지표를 사용하여 평가되었다:

1. 컴파일 성공 여부: 생성된 출력이 오류 없이 VERA에 파싱되어 로드될 수 있는지 여부.
2. 그래프 편집 거리(Graph Edit Distance): 생성된 모델과 대상 모델 간의 구조적 차이 (0은 완벽한 일치를 의미하며, -1은 컴파일 실패를 의미함).
3. 요청 크기별 성공률: 필요한 동작 시퀀스의 길이에 따른 성능.
4. 요청 유형별 성공률: "모델 생성"(빈 상태에서), "모델 편집"(기존 모델 수정), "파라미터 변경" 작업에 따른 성능.

주요 결과

• 컴파일: T2MM은 100%의 컴파일 성공률을 달성한 반면, 0-Shot 베이스라인은 3.38%에서 실패했고, N-Shot 베이스라인은 0.31%에서 실패했다.
• 구조적 정확도: T2MM은 구조적 정확성 측면에서 베이스라인들을 크게 앞질렀다. T2MM의 평균 그래프 편집 거리는 0.298이었으며, 이는 0-Shot의 1.638 및 N-Shot의 3.572와 대조적이다. N-Shot 아키텍처는 빈번하게 무작위 파라미터 변동을 일으켰으며 구조적 무결성을 유지하는 데 실패했다.
• 복잡도 처리: T2MM은 최대 5개의 동작이 필요한 모델을 구축하는 데 강력한 능력을 보여주었다. 더 긴 시퀀스(8개 동작 시 4% 미만)에서는 성공률이 떨어졌으나, 여전히 베이스라인보다는 우수했다.
• 작업 유형별 성능:
  • 모델 생성 (처음부터): T2MM은 **79.38%**의 정확도를 달랐다. 이와 극명하게 대조적으로, 0-Shot 아키텍처는 **100%**의 경우에서 실패했으며, N-Shot은 **8.31%**에 불과했다.
  • 편집/파라미터 변경: 두 베이지라인 모두 모델 생성 작업보다 이 작업에서 더 나은 성능을 보였는데, 이는 코드 생성 아키텍처가 출력을 올바르게 포맷하기 위해 기존 XML 문맥에 크게 의존함을 시사한다.

의의 및 기여
본 논문은 T2MM이 실시간 학습자 모델 상태에 기반하여 LLM이 생성한 동작 시퀀스를 활용함으로써 상호작용적인 개념 모델링을 지원하는 최초의 AI 교육 아키텍처라고 주장한다.

• 결과에서 동작으로의 전환: 주요 기여는 LLM에게 전체의 정적인 표현(XML/코드)을 생성하도록 요구하는 것에서 압축되고 실행 가능한 단계(actionable steps)를 생성하도록 요구하는 것으로 아키텍처를 전환한 것이다. 이 접근 방식은 대량의 텍스트 생성과 관련된 "환각(hallucination)" 위험을 완화하고 출력이 시스템의 온톨로지와 일치하도록 보장한다.
• 탐구 사이클의 활성화: 모델이 수동 조정을 통해 상호작용 가능하고 반응성을 유지하도록 보장함으로써, T2MM은 과학 학습에 필수적인 반복적인 "탐구의 순환"(가설 생성, 테스트, 평가)을 지원한다. 이는 정적인 이미지 생성이나 신뢰할 수 없는 코드 생성이 지원할 수 없는 부분이다.
• 인지 부하 감소: 저자들은 T2MM이 복잡한 모델의 기술적 구축을 자동화함으로써, 학습자가 모델링 도구의 메커니즘보다는 과학적 탐구 과정 자체에 집중할 수 있도록 인지 부하를 줄여줄 수 있다고 제안한다.

한계점
저자들은 이 아키텍처가 현재 VERA 온톨로지와 XML 기반 모델 구조에 특화되어 있어, 유사한 API가 없는 다른 과학 학습 환경으로의 일반화 가능성에 의문이 남는다는 점을 인정한다. 또한, 평가는 구조적 정확성(그래프 편집)에 국한되었으며, 시각적 표현에 대한 질적 평가나 실제 학습자를 대상으로 한 사용자 연구는 포함되지 않았다. 향후 연구로는 시각적 측면에 대한 전문가 평가 및 자연스러운 학습자 요청을 포함한 연구가 제안되었다.