💻 computer science

Development and Validation of a Faculty Artificial Intelligence Literacy and Competency (FALCON-AI) Scale for Higher Education

이 연구는 대학 교수의 인공지능 (AI) 리터러시와 역량을 평가하기 위해 기존 도구의 한계를 극복하고, 비판적 기술 회복력 (CTRL) 프레임워크에 기반하여 23 개의 문항으로 구성된 'FALCON-AI' 척도를 개발하고 통계적으로 검증한 내용을 담고 있습니다.

원저자: Yukyeong Song, Hyunjoo Moon, Hyewon Yang, Chris Kilgore

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yukyeong Song, Hyunjoo Moon, Hyewon Yang, Chris Kilgore

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 왜 이 연구가 필요했을까요? (배경)

지금 세상은 AI 가 대학 교육, 연구, 행정 등 모든 일을 바꾸고 있습니다. 하지만 교수님들이 AI 를 어떻게 써야 할지, 어디까지 써도 되는지, 어떻게 가르쳐야 할지 기준이 없었습니다.

기존에 있던 'AI 리터러시 (이해 능력)' 시험지들은 주로 일반인, 초등학생, 혹은 초중고 선생님을 위해 만들어졌습니다. 마치 **'어린이용 운전면허 시험지'**를 가지고 **'트럭 기사'**나 **'레이싱 드라이버'**의 능력을 평가하려는 것과 같죠. 교수님들의 업무 (수업, 연구, 행정) 는 훨씬 복잡하고 전문적이기 때문에, 기존 시험지로는 정확한 측정이 불가능했습니다.

그래서 연구팀은 **"대학 교수님들만의 맞춤형 AI 능력 시험지"**를 만들기로 했습니다.

2. 이 시험지는 어떻게 생겼나요? (핵심 구조)

연구팀은 교수님들의 업무를 3 가지 능력과 4 가지 업무 영역이 교차하는 **'3x4 격자무늬'**로 설계했습니다.

3 가지 능력 (세 가지 렌즈):
1. 기능적 능력 (Functional): "이 AI 가 뭐고, 어떻게 작동하는지 알아요?" (예: AI 로 강의 자료 만들기)
2. 평가적 능력 (Evaluative): "이 AI 가 좋은지 나쁜지, 어떤 상황에 써야 할지 판단해요." (예: 어떤 AI 툴이 연구에 더 적합한지 고르기)
3. 윤리적 능력 (Ethical): "이걸 써도 될까? 학생들에게 어떻게 가르쳐야 할까?" (예: AI 사용 금지 규정 만들기, 저작권 문제 해결)
4 가지 업무 영역 (네 가지 무대):
1. 일반: 일상적인 업무
2. 수업: 학생 가르치기
3. 연구: 논문 쓰기, 데이터 분석
4. 행정/봉사: 학과 운영, 보고서 작성

이렇게 3 가지 능력 × 4 가지 업무 = 총 12 가지 상황을 모두 커버할 수 있도록 설계했습니다.

3. 시험지를 어떻게 만들었나요? (개발 과정)

연구팀은 다음과 같은 단계를 거쳤습니다.

초안 작성: 기존 시험지들을 참고하고 교수님들의 실제 업무를 분석해 43 개의 문제를 처음 만들었습니다.
전문가 검증 (사람 + AI):
- 사람 전문가 4 명: AI 교육, 교수법, 컴퓨터 공학 전문가들이 문제를 하나하나 검토하며 "이건 너무 어렵다", "이건 교수님 업무랑 안 맞다"라고 피드백했습니다.
- AI 전문가 (GPT): 흥미롭게도, 연구팀은 **ChatGPT(인공지능)**를 또 다른 '검토위원'으로 초대했습니다. AI 가 "이 문장은 명확하지 않아요"라고 조언하면, 사람 전문가들과 함께 문제를 수정했습니다. (사람과 AI 가 서로의 눈을 감고 서로를 검증한 셈이죠!)
- 결과: 43 개 문제 중 4 개를 빼고, 39 개로 정리했습니다.
실전 테스트 (파일럿): 전국 대학의 교수님, 조교, 연구원 등 269 명이 이 39 개 문제를 풀었습니다.
최종 다듬기: 통계 분석 (CFA) 을 통해 "이 문제는 능력과 상관없다"거나 "너무 비슷하다"는 문제를 잘라냈습니다. 그 결과, 가장 핵심적인 23 개의 문제만 남긴 **최종 시험지 (FALCON-AI)**가 완성되었습니다.

4. 결과는 어땠나요? (검증 결과)

신뢰도: 이 시험지는 교수님들의 능력을 매우 정확하게 측정했습니다. (통계적으로 신뢰할 만한 점수)
적합도: 교수님들의 실제 업무 (수업, 연구, 행정) 와 AI 능력 (기능, 평가, 윤리) 이 잘 맞물려 작동하는지 확인했습니다.
결론: 이 23 문항의 시험지는 교수님들이 AI 를 얼마나 잘 다루는지, 어디를 더 공부해야 할지 알려주는 정교한 나침반이 되었습니다.

5. 이 연구가 우리에게 주는 의미는? (기여)

이 연구는 단순히 시험지를 만든 것을 넘어, 다음과 같은 의미를 가집니다.

개인에게: 교수님들은 이 시험지를 통해 "나는 AI 를 잘 쓰지만, 윤리적 판단은 약하다"는 식으로 자신의 강점과 약점을 알 수 있습니다.
학교에: 대학은 이 결과를 바탕으로 "우리 학교 교수님들은 AI 윤리 교육이 가장 시급하다"는 식으로 맞춤형 교육 프로그램을 만들 수 있습니다.
미래에: AI 기술은 매일 변합니다. 이 시험지는 특정 AI 프로그램 이름을 언급하지 않고, 변하지 않는 핵심 능력을 측정하도록 설계되어, 기술이 바뀌어도 오랫동안 쓸 수 있는 **'살아있는 도구'**입니다.

요약

이 논문은 **"대학 교수님들이 AI 시대에 살아남기 위해 필요한 능력을 측정하는, 사람과 AI 가 함께 만든 정밀한 나침반 (FALCON-AI)"**을 개발했다는 이야기입니다. 이제 교수님들은 이 나침반을 들고 AI 와 함께 더 안전하고 창의적인 대학 생활을 영위할 수 있게 되었습니다.

논문 요약: 고등교육을 위한 교수진 인공지능 (AI) 리터러시 및 역량 (FALCON-AI) 척도 개발 및 타당화

1. 연구 배경 및 문제 제기 (Problem)

배경: 고등교육에서 인공지능 (AI) 의 통합이 급속히 진행됨에 따라, 교수진의 AI 리터러시와 역량이 교육, 연구, 봉사 (행정) 영역에서 점점 더 중요해지고 있습니다.
문제점: 기존에 개발된 AI 리터러시 측정 도구들은 일반 대중, K-12 학생 및 교사, 또는 대학생들을 대상으로 설계되었습니다. 따라서 고등교육 교수진의 고유한 역할 (연구, 교수, 행정 등) 에 내재된 지시자 (indicators) 를 반영하지 못하며, 교수진을 대상으로 한 심리측정적 검증 (psychometric validation) 이 이루어진 도구는 부재합니다.
목표: 교수진의 실제 업무 맥락 (교육, 연구, 서비스/행정) 에 적용 가능한 AI 리터러시를 측정할 수 있는 검증된 도구인 FALCON-AI 척도를 개발하고 타당화하는 것.

2. 이론적 틀 및 방법론 (Methodology)

이 연구는 Critical Tech-resilient Literacies (CTRL) 프레임워크를 기반으로 3 단계의 개발 및 검증 과정을 거쳤습니다.

개발 프레임워크 (3x4 구조):
- 3 가지 리터러시 (CTRL): 기능적 리터러시 (Functional), 평가적 리터러시 (Evaluative), 윤리적 리터러시 (Ethical).
- 4 가지 교수 업무 영역: 일반 (General), 교육 (Teaching), 연구 (Research), 서비스/행정 (Service/Administration).
- 이 두 차원을 교차하여 12 개의 하위 영역을 정의하고, 기존 문헌을 바탕으로 초기 43 개의 문항을 생성했습니다.
내용 타당도 검증 (Content Validation):
- 전문가 검토: 4 명의 주제 전문가 (SMEs) 와 1 명의 AI 에이전트 (GPT-5.2 Thinking 모델) 를 활용하여 문항의 명확성, 관련성, 필요성을 평가했습니다.
- 절차: 3 점 척도 (명확성, 관련성, 필요성) 로 평가하고, I-CVI(항목별 내용 타당도 지수) 와 CVR(내용 타당도 비율) 을 계산하여 문항을 선별 및 수정했습니다.
- 결과: 초기 43 개 문항 중 4 개가 제거되거나 수정되어 39 개 문항으로 축소되었습니다.
파일럿 테스트 및 통계 분석:
- 표본: 고등교육 관련 종사자 (교수, 연구원, 대학원생, 직원 등) 총 269 명.
- 분석 기법:
  - 확인적 요인 분석 (CFA): 가설 설정된 3 요인 (리터러시) 모델과 4 요인 (업무 영역) 모델의 적합도를 검증. (MLR 추정치 사용)
  - 신뢰도 분석: 크론바흐 알파 (Cronbach's $\alpha$ ) 계수를 통해 내적 일관성 확인.
  - 문항 축소: 요인 부하량이 낮거나 응답 부담을 줄이기 위해 최종 23 개 문항으로 확정.

3. 주요 결과 (Results)

모델 적합도 (Model Fit):
- AI 리터러시 모델: CFI = .926, TLI = .918, RMSEA = .064, SRMR = .054 로 양호한 적합도를 보였습니다.
- 교수 업무 영역 모델: CFI = .876, TLI = .860, RMSEA = .084, SRMR = .062 로 초기 모델 대비 개선되었으나, 리터러시 모델에 비해 상대적으로 낮은 적합도를 보였습니다 (RMSEA 는 허용 범위 내).
신뢰도 (Reliability):
- 하위 척도별 크론바흐 알파는 0.75 ~ 0.91 사이로 양호한 내적 일관성을 보였습니다.
- 전체 척도의 신뢰도는 $\alpha$ = 0.95로 매우 높았습니다.
구조적 타당성: 기능적, 평가적, 윤리적 리터러시 간의 상관관계가 유의미하게 나타나 다차원적 구성개념임을 지지했습니다.

4. 주요 기여 (Key Contributions)

이론적 기여: AI 리터러시를 단순한 기술적 능력이 아닌, 고등교육 교수진의 전문적 역할 (교육, 연구, 행정) 에 내재된 다차원적 구성개념으로 재정의했습니다. CTRL 프레임워크를 교수직 맥락에 적용하여 이론적 토대를 마련했습니다.
방법론적 기여:
- 인간 전문가와 AI(GPT) 를 활용한 삼각검증 (Triangulation) 방식을 도입하여 문항 개발의 투명성과 객관성을 높였습니다. 인간과 AI 의 평가 간 일치도 (IRA) 가 높게 나타났습니다.
- 고등교육 교수진을 대상으로 한 최초의 검증된 AI 리터러시 척도 (FALCON-AI) 를 제시했습니다.
실무적 기여:
- 교수진이 자신의 AI 역량을 자가 진단하고, 기관은 교수 개발 (PD) 프로그램의 필요 영역을 파악하며, 개입 효과 (Pre/Post) 를 평가할 수 있는 실용적인 도구를 제공합니다.

5. 의의 및 한계 (Significance & Limitations)

의의: 고등교육 기관이 AI 시대에 대응하기 위해 교수진의 역량을 체계적으로 측정하고 발전시킬 수 있는 표준화된 도구를 제공한다는 점에서 의미가 큽니다. 이는 단순한 기술 습득을 넘어 윤리적 판단과 비판적 사고를 포함한 포괄적 역량을 평가합니다.
한계:
- 표본 편향: 편의 표본 (Convenience sampling) 을 사용했으므로 AI 에 관심 있는 교수가 과대표집되었을 가능성이 있습니다.
- 자기보고식: 실제 수행 능력보다는 지각된 역량을 측정하므로, 실제 행동 데이터나 시나리오 기반 평가와의 병행이 필요합니다.
- 모델 적합도: 교수 업무 영역 모델의 적합도가 리터러시 모델에 비해 다소 낮아 추가 검증이 필요합니다.
- 기술의 급변성: AI 기술의 빠른 발전으로 인해 척도 내용이 시대에 뒤떨어질 수 있으므로, 정기적인 업데이트가 필요한 '살아있는 도구 (Living instrument)'로 간주해야 합니다.

결론적으로, 본 연구는 고등교육 교수진의 AI 리터러시를 측정하기 위해 이론적 근거와 실증적 검증을 거친 FALCON-AI 척도를 성공적으로 개발하였으며, 이는 향후 교수 개발 및 정책 수립에 중요한 기초 자료가 될 것입니다.