Text to Automata Diagrams: Comparing TikZ Code Generation with Direct Image Synthesis

이 논문은 학생이 그린 자동화 다이어그램을 입력받아 비전 - 언어 모델로 설명을 생성하고 인간이 이를 수정한 후 대규모 언어 모델을 통해 TikZ 코드로 변환하는 과정을 평가하여, 인간 교정이 생성된 설명의 정확도와 최종 다이어그램 품질을 크게 향상시킨다는 사실을 밝혔습니다.

핵심

🎨 1. 상황: messy 한 손글씨 그림

상상해 보세요. 컴퓨터 공학 수업에서 학생들이 시험을 치르거나 숙제를 할 때, 종이 위에 손으로 그린 그림을 그립니다.

• 비유: 이건 마치 친구가 "내 생각 정리한 거 봐"라고 건네준 손으로 그린 지도와 같습니다.
• 문제: 친구가 그린 지도는 너무 불규칙합니다. 화살표가 어디로 가는지 모호하고, 상태 (State) 라벨이 삐뚤빼뚤하고, 심지어 중요한 길 (전이, Transition) 을 빼먹은 경우도 있습니다.

연구팀은 이 **지저분한 손으로 그린 지도 (이미지)**를 컴퓨터가 이해할 수 있는 **정갈한 디지털 지도 (TikZ 코드)**로 바꿔주는 시스템을 테스트했습니다.

🤖 2. 실험 과정: 3 단계의 여정

이 연구는 크게 세 단계를 거칩니다.

1 단계: AI 가 그림을 보고 설명하기 (Vision-Language Model)

먼저, AI(지능형 비서) 에게 학생이 그린 그림을 보여주고 **"이 그림이 뭐야? 자세히 설명해 줘"**라고 요청했습니다.

• 결과: AI 는 그림을 대략적으로 이해했지만, 오해를 하기도 했습니다.
  • 예: "저기 화살표가 하나 더 있는 줄 알았는데 사실은 없었네" 혹은 "이 상태가 시작 상태인 줄 알았는데 아니었네" 같은 실수가 많았습니다.
  • 비유: AI 가 친구의 손글씨 지도를 보고 "아, 여기가 북쪽이구나"라고 잘못 해석한 상황입니다.

2 단계: 인간이 수정하기 (Human Review)

그런 다음, **사람 (연구자)**이 AI 가 쓴 설명을 다시 꼼꼼히 읽어보며 수정했습니다.

• 결과: 사람이 수정한 설명은 훨씬 정확해졌습니다. 빠진 화살표를 채우고, 잘못된 라벨을 고쳤습니다.
• 비유: 친구가 그린 지도를 보고, 실제 지리를 잘 아는 사람이 "아니야, 이 길은 막혀있고 저기서 우회해야 해"라고 정확한 지도 설명을 다시 써준 것입니다.

3 단계: 다시 그림 그리기 (TikZ Code Generation)

마지막으로, AI(대형 언어 모델) 에게 수정된 설명을 주고 "이 설명대로 깔끔한 디지털 그림을 그려줘"라고 시켰습니다.

• 결과:
  1. 수정 전 설명으로 그린 그림: 여전히 어색하고 틀린 부분이 많았습니다.
  2. 수정 후 설명으로 그린 그림: 원래 학생이 그린 그림과 매우 흡사하고 깔끔하게 재현되었습니다.

💡 3. 핵심 발견: "직접 그리기"보다 "코드로 그리기"가 낫다

연구팀은 두 가지 방법으로 그림을 다시 그렸는데, 결과가 재미있었습니다.

1. 직접 이미지 생성: AI 가 설명을 보고 바로 그림을 그리는 방식.
   • 결과: 그림이 조금 뭉개지거나, 모양이 이상하게 나옴. (비유: AI 가 설명을 듣고 머릿속으로 그림을 그려서 보여준 건데, 화질이 흐릿함)
2. TikZ 코드 생성: AI 가 설명을 읽고 **LaTeX(TikZ)**이라는 전문적인 "그림 그리는 언어 (코드)"를 먼저 작성한 뒤, 그 코드로 그림을 만드는 방식.
   • 결과: 훨씬 더 정확하고 깔끔함. (비유: AI 가 설명을 바탕으로 **정밀한 설계도 (코드)**를 먼저 만들고, 그 설계도에 따라 공장이 정교한 그림을 찍어낸 것)

결론: AI 가 그림을 직접 그리는 것보다, 정확한 설명을 바탕으로 '설계도 (코드)'를 먼저 만들고 그걸로 그림을 만드는 게 훨씬 잘 나옵니다.

🌟 4. 왜 이 연구가 중요할까요?

이 기술은 학교 교육에 큰 도움을 줄 수 있습니다.

• 자동 채점 및 피드백: 학생이 손으로 그린 답안을 스캔하면, AI 가 이를 깔끔한 디지털 그림으로 바꿔줍니다. 그리고 정답과 비교해서 "여기 화살표가 빠졌어요", "시작 상태가 잘못됐어요"라고 자동으로 피드백을 줄 수 있습니다.
• 접근성: 손으로 그린 지저분한 그림을 누구나 읽을 수 있는 깔끔한 디지털 자료로 바꿔주므로, 학습 자료 공유가 훨씬 수월해집니다.

📝 요약

이 논문은 **"AI 가 학생들의 손으로 그린 그림을 이해하는 데는 아직 실수가 많지만, 사람이 그 설명을 조금만 수정해 주면, AI 가 아주 훌륭한 디지털 그림을 다시 그릴 수 있다"**는 것을 증명했습니다. 특히, 코드를 통해 그림을 만드는 방식이 가장 정확했습니다.

이것은 마치 **"AI 가 친구의 엉뚱한 지도 설명을 듣고 길을 잃지 않도록, 사람이 한 번만 도와주면 AI 가 완벽한 내비게이션 지도를 만들어준다"**는 이야기와 같습니다.

기술 요약

제시된 논문 "Text to Automata Diagrams: Comparing TikZ Code Generation with Direct Image Synthesis"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

컴퓨터 과학 교육, 특히 형식 언어 및 자동자 이론 (Automata Theory) 과목에서 학생들은 시험, 과제, 노트 작성 시 손으로 그린 자동자 다이어그램 (Finite Automata, Pushdown Automata, Turing Machine 등) 을 자주 사용합니다. 이러한 손으로 그린 다이어그램은 구조, 레이아웃, 표기법, 정확도 면에서 매우 다양하고 비공식적인 형태를 띱니다.
본 연구는 다음과 같은 문제를 해결하고자 합니다:

• 시각적 입력의 디지털화: 스캔된 학생들의 손글씨 다이어그램을 Vision-Language Model (VLM) 을 통해 텍스트 설명으로 변환할 때, 모델이 생성한 설명이 구조적 오류 (상태 누락, 전이 오류 등) 를 많이 포함하는지 확인.
• 정확한 디지털 재구성: 생성된 텍스트 설명을 바탕으로 Large Language Model (LLM) 이 TikZ (LaTeX 기반 다이어그램 도구) 코드를 생성하거나 직접 이미지를 합성할 때, 원본 다이어그램과 얼마나 일치하는지 평가.
• 휴먼 에디팅의 필요성: VLM 이 생성한 텍스트에 대한 인간의 수정 (Human Review) 이 최종 다이어그램의 품질 향상에 얼마나 기여하는지 검증.

2. 방법론 (Methodology)

2.1 데이터셋 준비

• 소스: Marshall University 와 West Virginia State University 의 학부 자동자 이론 과정에서 수집된 190 개의 스캔된 학생 다이어그램 (28 개의 서로 다른 문제).
• 범위: 결정적 유한 자동자 (DFA), 비결정적 유한 자동자 (NFA), 푸시다운 자동자, 그래프, 트리, 튜링 머신 등 포함.
• 처리: 모든 이미지는 익명화되었으며, IRB 승인을 받음.

2.2 프로세스 파이프라인

1. 텍스트 설명 생성 (VLM): GPT-4o 를 사용하여 스캔된 다이어그램을 텍스트로 변환.
   • 프롬프트 전략: (1) 이미지만 제공, (2) 이미지 + 시험 문제 문맥 제공, (3) 이미지 + 예시 다이어그램 및 캡션 제공 (One-shot).
   • 결과: 문제 문맥이 포함된 프롬프트가 가장 일관된 구조를 보였으나, 여전히 전이 누락 등의 오류 발생.
2. 휴먼 에디팅 (Human Revision): 생성된 텍스트 설명을 인간 어노테이터가 검토하여 구조적 오류를 수정하고 모호함을 제거.
3. TikZ 코드 생성 (LLM): 원본 설명과 수정된 설명을 각각 GPT-4o 에 입력하여 TikZ 코드 생성.
4. 컴파일 및 평가: 생성된 TikZ 코드를 컴파일하여 다이어그램을 생성하고, 이를 원본 손글씨 다이어그램과 비교 평가.

2.3 평가 지표

• 의미적 유사도 (Semantic Similarity): 원본 설명과 수정된 설명 간의 BLEU, METEOR, ROUGE-L 점수 계산.
• 시각적 일관성 (Visual Consistency): 인간 평가자 2 명이 5 점 리커트 척도 (Likert scale) 를 사용하여 생성된 다이어그램과 원본의 일치도를 평가.
  • 1 점: 완전히 잘못됨 ~ 5 점: 완전히 일치.
• 컴파일 성공률: 생성된 TikZ 코드가 성공적으로 컴파일된 비율.

3. 주요 결과 (Key Results)

3.1 텍스트 설명의 품질

• VLM 이 생성한 원본 설명과 인간이 수정한 설명 간의 의미적 유사도는 ROUGE-L(0.730), METEOR(0.680) 로 높았으나, BLEU(0.570) 는 상대적으로 낮아 구조적 재배열이 많이 필요했음을 시사.
• 인간 수정은 주로 누락된 상태/전이, 잘못된 레이블, 모호한 참조 등을 교정하는 데 집중됨.

3.2 직접 이미지 생성 vs. TikZ 컴파일을 통한 재구성

• 직접 이미지 생성 (Text-to-Image): 수정된 설명에서 생성된 이미지의 평균 점수는 3.6, 원본 설명에서 생성된 이미지는 2.85로, 인간 수정이 품질을 높였으나 여전히 불완전함.
• TikZ 컴파일 (Text-to-TikZ-to-Image):
  • 수정된 설명을 통해 생성된 TikZ 다이어그램의 평균 점수는 4.65 (Std. Dev 0.48).
  • 원본 설명을 통해 생성된 TikZ 다이어그램의 평균 점수는 2.95 (Std. Dev 1.14).
• 결론: TikZ 를 통한 재구성이 직접 이미지 합성보다 훨씬 정확도가 높았으며, 인간 수정이 TikZ 기반 재구성의 정확도를 극적으로 향상시킴 (4.65 vs 2.95).

3.3 프롬프트 엔지니어링 효과

• 시험 문제 문맥을 프롬프트에 포함하는 것이 다이어그램 구조에 대한 기대치를 명확히 하여 설명의 정확도를 높임.
• One-shot 프롬프트는 예시와 타겟 다이어그램의 레이아웃이 유사할 때 효과적임.

4. 주요 기여 (Key Contributions)

1. 교육용 다이어그램 재구성 파이프라인 검증: VLM(텍스트 생성) + 인간 수정 + LLM(TikZ 코드 생성) 의 파이프라인이 학생들의 손글씨 다이어그램을 정밀한 디지털 형식으로 변환하는 데 유효함을 입증.
2. 휴먼 인 더 루프 (Human-in-the-loop) 의 중요성 강조: VLM 의 자동 생성만으로는 구조적 오류가 빈번하며, 인간의 간섭이 최종 결과물의 정확도를 결정하는 핵심 요소임을 실증.
3. TikZ 기반 접근법의 우월성 입증: 자동자 다이어그램과 같은 구조화된 도형의 경우, 직접 이미지 생성 (Diffusion 모델 등) 보다 구조적 언어 (TikZ) 를 통한 재구성이 훨씬 더 높은 정확도와 일관성을 보임.
4. 데이터셋 및 평가 프레임워크 제공: 자동자 이론 교육용 스캔 다이어그램 데이터셋과 이를 평가하기 위한 체계적인 인간 평가 루브릭을 제시.

5. 의의 및 시사점 (Significance)

• 자동 채점 및 피드백 시스템: 이 연구는 학생들의 손글씨 답안을 자동으로 디지털화하고, 정답과 비교하여 구조적 오류 (누락된 전이, 잘못된 수용 상태 등) 를 식별하는 자동 채점 시스템의 기초를 마련함.
• 접근성 향상: 다양한 형태의 학생 제출물을 표준화된 TikZ 형식으로 변환하여 교육 자료의 접근성을 높이고, 시각적으로 명확한 instructional materials 생성을 가능하게 함.
• 미래 연구 방향: 현재는 단일 모델 (GPT-4o) 과 제한된 데이터로 수행되었으나, 향후 더 많은 데이터와 다양한 모델을 활용하여 구조적 불일치 자동 탐지 및 대규모 평가를 진행할 계획임.

요약하자면, 이 논문은 AI 가 학생들의 손글씨 다이어그램을 이해하고 디지털화하는 과정에서 인간의 수정이 필수적이며, 특히 TikZ 코드 생성을 통한 재구성이 직접 이미지 합성보다 교육적 맥락에서 훨씬 더 신뢰할 수 있는 결과를 제공한다는 것을 증명했습니다.