PromptDecipher: Supporting AI Tutor Authoring Through Editable Simulated Interactions
교육자가 배포 전에 AI 튜터링 봇을 거의 테스트하지 않는 격차를 해소하기 위해 본 논문은 교사가 실시간 미리보기에서 바람직하지 않은 봇 응답을 직접 수정할 수 있게 하여 저술 과정을 간소화하고, 이를 통해 표적 프롬프트 재작성을 자동 생성하고 QA 파이프라인을 통해 이를 검증하는 시스템인 PromptDecipher 를 제시한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신은 학생들을 위한 유용한 AI 튜터를 만들고 싶은 교사라고 상상해 보세요. 현재 대부분의 도구는 당신에게 매우 어려운 일을 요구합니다: AI 가 당신의 의도를 정확히 이해하기를 바라며 평문으로 거대하고 복잡한 일련의 지시사항 (시스템 프롬프트라고 함) 을 작성하는 것입니다. 이는 한 번도 본 적 없는 50 페이지 분량의 규칙서를 신참 직원에게 건네주면서, 단 한 번도 실습을 시키지 않은 채 그들을 가르치려 하는 것과 같습니다.
'PromptDecipher'라는 논문은 이것이 잘못된 방법이라고 주장합니다. 교사들은 학생의 작업에 대한 피드백을 주는 데는 능숙하지만, 컴퓨터를 위한 코드나 복잡한 지시사항을 작성하는 데는 전문가가 아닙니다.
문제: 지시사항의 '블랙박스'
현재, 교사가 봇을 생성했는데 잘못된 답변을 내놓으면, 그 거대한 지시서 중 어떤 부분이 실수를 야기했는지 추측해야 하고, 해당 부분을 다시 작성한 뒤 최선의 결과를 기대해야 합니다. 저자들은 100 명 이상의 교사를 대상으로 한 연구에서, 거의 모든 교사가 학생들이 봇을 사용하기 전에 실제로 봇을 테스트하지 않았다는 사실을 발견했습니다. 이는 요리사가 한 번도 맛보지 않은 새 요리를 레스토랑에 서빙하는 것과 같습니다.
해결책: '수정 후 설명' 접근법
PromptDecipher 는 방식을 뒤집습니다. 지시사항을 먼저 작성하는 대신, 학생 역할을 하는 것부터 시작합니다.
- 시뮬레이션: 새로운 봇과 채팅합니다.
- 수정: 봇이 잘못되거나 도움이 되지 않는 말을 하면, 지시서로 돌아가는 대신 채팅 창에서 바로 봇의 답변을 수정하여 당신이 원했던 대로 정확히 말하도록 다시 씁니다.
- 마법 같은 번역기: '제출'을 누르면 시스템은 초지능 번역기처럼 작동합니다. 당신의 수정 사항을 보고 "아, 그러니까 교사는 봇이 답을 주는 대신 질문을 하기를 원했던 것이군요?"라고 묻습니다.
- 자동 업데이트: 시스템은 그런 다음 수정 사항에 맞춰 숨겨진 지시서 (프롬프트) 를 자동으로 다시 작성합니다. 워드 문서의 '변경 사항 추적' 기능처럼 변경 사항을 보여줌으로써 당신이 무엇을 했는지 확인할 수 있게 합니다.
- 안전 점검: 봇을 게시하기 전에 시스템이 빠른 테스트를 실행합니다. "이 하나의 실수를 고치는 것이 다른 부분을 망가뜨리지 않았는가?"를 확인합니다. 봇이 다른 시나리오에서 이상하게 행동하기 시작하면 시스템을 멈추게 하고 "이것도 고쳐야 합니다"라고 말합니다.
비유: 리허설실
AI 튜터를 만드는 것을 연극을 연출하는 것이라고 생각해 보세요.
- 기존 방식: 배우 (AI) 에게 방대한 대본을 작성하고 그들이 그것을 올바르게 이해하기를 바랍니다. 그들이 대사를 틀리면, 대본의 어느 부분을 고쳐야 할지 추측해야 합니다.
- PromptDecipher 방식: 배우의 연기를 지켜봅니다. 그들이 잘못된 대사를 말하면, 당신이 개입하여 "아니, 이렇게 말해 보세요"라고 말합니다. 그런 다음 시스템은 당신의 새로운 대사를 받아 배우가 다음에 그렇게 말하도록 기억하게 하기 위해 대본을 어떻게 다시 써야 하는지 파악합니다. 공연이 완벽해질 때까지 이 과정을 계속하며, 시스템은 리허설이 성공할 때까지 극장 문을 열게 (봇을 게시하게) 하지 않습니다.
중요성
이 시스템은 교사들이 스스로 깨닫지 못하는 사이에 품질 관리 엔지니어처럼 행동하도록 만듭니다. '수정' 부분을 쉽고 친숙하게 (채팅을 편집하는 것만으로도) 만듦으로써, 봇들이 실제 학생들이 보기 전에 실제로 테스트되고 개선되도록 보장합니다. 저자들은 이 도구를 수백 명의 대학 강사들을 위한 과정에 사용하여 이 방법이 그들이 더 안전하고 나은 AI 튜터를 만드는 데 도움이 되는지 확인할 계획입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.