Deterministic Preprocessing and Interpretable Fuzzy Banding for Cost-per-Student Reporting from Extracted Records

이 논문은 SHA-256 해시 기반의 재현 가능한 결정론적 전처리 워크플로우를 통해 학비 데이터를 집계하고, 퍼지 밴딩 기법을 적용하여 학교별 학생당 비용을 저/중/고 등급으로 해석 가능한 형태로 변환하는 `cad_processor.py` 스크립트와 그 결과를 제시합니다.

핵심

1. 문제 상황: "요리 레시피가 사라진 식당"

대학에서는 예산을 짜거나 교수님들의 업무량을 평가할 때, '학생 한 명을 가르치는 데 드는 비용'이라는 숫자를 많이 봅니다. 보통 이 숫자들은 엑셀 파일에서 가져와서 계산합니다.

하지만 문제는 이 계산 과정이 불투명하다는 점입니다.

• "어떻게 이 숫자가 나왔지?"
• "누가 실수를 했나?"
• "이전 데이터와 똑같은 걸로 다시 계산하면 같은 결과가 나올까?"

이런 의구심을 해결하기 위해, 저자들은 완벽하게 규칙을 정해둔 자동화 시스템을 만들었습니다.

2. 해결책: "완벽한 요리사 (cad_processor.py)"

이 시스템은 마치 매우 꼼꼼하고 규칙을 철저히 지키는 요리사와 같습니다.

• 원재료 (입력 파일): 대학의 '강의 데이터'가 담긴 엑셀 파일을 받습니다.
• 정해진 레시피 (규칙): 요리사는 임의로 재료를 넣지 않습니다. "학생 수가 없으면 0 으로 처리한다", "비용이 없으면 0 으로 처리한다" 등 미리 정해진 규칙만 따릅니다.
• 손질 과정 (데이터 정제):
  • 이름이 비어있는 행은 버립니다. (나쁜 재료는 버림)
  • 숫자가 아닌 글자가 섞여 있으면 0 으로 취급합니다. (잘못된 숫자는 0 으로 간주)
  • 학생 수가 음수인 이상한 행은 아예 삭제합니다.
• 요리 결과 (출력 파일): 이 과정을 거쳐 깔끔하게 정리된 새로운 엑셀 파일을 만듭니다.

가장 중요한 특징: '지문' (SHA-256 해시)
이 요리사는 요리를 시작하기 전, 원재료 (입력 파일) 의 디지털 지문을 찍어 둡니다. 나중에 "이 요리가 정말 이 원재료로 만들었나?"를 확인하려면, 그 지문을 다시 찍어 비교하면 됩니다. 원재료의 글자 하나만 바뀌어도 지문이 완전히 달라지기 때문에, 조작이나 실수를 100% 잡아낼 수 있습니다.

3. 해석의 마법: "날씨 예보와 옷장 (Fuzzy Banding)"

계산된 '학생 1 인당 비용' 숫자만 보면 "이 학교는 비싼가, 싼가?"를 판단하기 어렵습니다. 그래서 저자들은 **'퍼지 밴딩 (Fuzzy Banding)'**이라는 기술을 썼습니다.

이를 날씨에 비유해 볼까요?

• 날씨 (데이터): 25 도, 26 도, 27 도... 정확한 숫자는 있지만, "이게 더운 건가?"라고 말하기 애매할 때가 있습니다.
• 의류 추천 (라벨링): 우리는 숫자를 보고 **"선선함 (Low)", "적당함 (Medium)", "덥다 (High)"**로 분류합니다.

이 시스템의 특별한 점은 매년 기준을 새로 잡는다는 것입니다.

• 올해의 기준: 올해의 데이터만 보고 '최소', '중간 (중앙값)', '최대'를 정합니다.
• 분류 방법:
  • 최소값에 가까우면 '선선함 (Low)'
  • 중간값에 가까우면 '적당함 (Medium)'
  • 최대값에 가까우면 '덥다 (High)'
  • 중요: "어? 25 도는 '선선함'이기도 하고 '적당함'이기도 하네?"라고 애매할 때는, 미리 정해진 규칙 (중간을 우선시) 에 따라 딱 하나를 결정합니다. 이렇게 하면 누구에게나 똑같은 결과가 나옵니다.

이때 중요한 것은, "선선함"이라는 라벨을 붙였지만, 원래의 정확한 숫자 (25 도) 는 여전히 보여준다는 점입니다. 라벨은 이해를 돕는 도구일 뿐, 숫자를 가리는 것이 아닙니다.

4. 결과물: "투명한 보고서"

이 시스템이 만들어내는 엑셀 파일에는 4 개의 탭이 있습니다.

1. 요리 기록 (Processing Summary): "어떤 원재료를 썼는지 (지문), 몇 개의 재료를 버렸는지, 몇 개의 재료를 0 으로 처리했는지"를 모두 적어둡니다.
2. 추세 지도 (Trend Analysis): 학교별로 비용이 어떻게 변했는지 색깔로 보여주는 지도입니다. (올해 기준에 맞춰 색을 입혔습니다.)
3. 상세 내역 (Report): 각 과목별, 학교별 상세 숫자 목록입니다.
4. 날씨 분류표 (Fuzzy Bands): 위에서 말한 '선선함/적당함/덥다' 분류와 그 기준이 된 숫자들이 적힌 표입니다.

5. 왜 이 논문이 중요할까요?

이 논문은 **"숫자는 거짓말을 하지 않지만, 숫자를 만드는 과정이 거짓말을 할 수 있다"**는 점을 지적합니다.

• 검증 가능성: 누구든 같은 원재료와 같은 요리사 (코드) 를 쓰면 똑같은 요리가 나옵니다.
• 투명성: 어떤 데이터가 버려졌는지, 어떻게 계산되었는지 모두 기록되어 있어 감시할 수 있습니다.
• 이해 용이성: 복잡한 숫자를 '저/중/고'로 쉽게 분류하되, 원래 숫자를 숨기지 않아 신뢰를 줍니다.

요약

이 논문은 대학의 예산 데이터를 **'완벽하게 규칙을 지키는 요리사'**가 손질하고, **'날씨 예보관'**처럼 쉽게 분류하여 보여주는 시스템을 소개합니다. 모든 과정에 **'디지털 지문'**을 찍어 조작을 방지하고, 누구나 다시 계산해 볼 수 있게 만들어 신뢰할 수 있는 의사결정을 돕는 것이 핵심입니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 대학의 예산 책정, 업무량 검토, 거버넌스 논의 등에서 '학생당 비용 (Cost-per-Student)' 데이터는 중요한 의사결정 근거가 됩니다. 이 데이터는 주로 운영 시스템에서 추출된 스프레드시트 (엑셀) 형태로 제공되며, 종종 보고서 그 자체로 활용됩니다.
• 핵심 문제:
  • 검증의 어려움: 추출된 원본 데이터 (스냅샷) 와 최종 보고서 사이의 변환 과정이 불투명할 경우, 결과값의 신뢰성을 검증하기 어렵습니다.
  • 재현성 부족: 동일한 입력 데이터와 규칙이 사용되었는지 확인할 수 있는 체계가 부재하여, 다른 사용자가 결과를 재계산하거나 비교하기가 힘듭니다.
  • 해석의 모호성: 단순한 수치 (학생당 비용) 만으로는 특정 연도 내 학교 간 상대적 위치 (낮음/중간/높음) 를 직관적으로 파악하기 어렵고, 퍼지 (Fuzzy) 한 경계선에서의 분류가 주관적일 수 있습니다.

2. 방법론 (Methodology)

논문은 cad_processor.py 스크립트를 기반으로 한 결정론적 (Deterministic), 규칙 기반 (Rule-governed), 파일 기반 워크플로우를 제안합니다.

A. 결정론적 전처리 및 집계 (Deterministic Preprocessing & Aggregation)

• 입력: 'Casual Academic Database (CAD)'에서 추출된 엑셀 워크북.
• 프로세스:
  1. 테이블 탐지 및 정규화: 시트와 헤더를 자동으로 탐지하고, 필드 (학교, 과목, 강의 세션, 포함된 간접비, 학생 수 등) 를 매핑합니다.
  2. 행 스트리밍 및 필터링: 행을 순차적으로 읽으며 다음 규칙을 적용합니다.
     • 식별자 (학교, 과목) 가 없거나 연도가 추출되지 않으면 제외.
     • 'Total', 'Sum' 등의 요약 행은 제외.
     • 결측 비용은 0.0 으로, 결측 학생 수는 0 으로 처리 (카운트 기록).
     • 음수 학생 수는 제외.
  3. 집계: '과목 - 연도' 및 '학교 - 연도' 단위로 비용과 학생 수를 집계합니다.
  4. 비율 계산: 학생 수가 0 인 경우, 비용이 0 이면 'No activity (0.0)', 비용이 있으면 'Undefined (빈칸)'으로 처리합니다.
• 검증 메커니즘:
  • SHA-256 해시: 입력 워크북의 바이트 단위를 해시화하여 저장합니다. 이를 통해 동일한 입력 스냅샷이 사용되었는지 검증합니다.
  • 프로세싱 요약 (Processing Summary): 처리된 행 수, 제외된 행 수, 결측치 처리 내역 등을 기록하여 감사 (Audit) 를 지원합니다.

B. 해석 가능한 퍼지 밴딩 (Interpretable Fuzzy Banding)

• 목적: 연도 내 학교 간 상대적 위치를 'Low', 'Medium', 'High'로 직관적으로 분류하되, 수치적 근거를 유지합니다.
• 앵커 (Anchors) 계산: 각 연도별로 유효한 (유한하고 양수인) 학생당 비용 비율의 **최소값 (Min), 중앙값 (Median), 최대값 (Max)**을 계산하여 기준점 (Anchor) 으로 사용합니다.
• 소속 함수 (Membership Functions):
  • Low: 왼쪽 어깨형 (Left-shoulder) 함수.
  • Medium: 삼각형 (Triangular) 함수 (최소중앙최대).
  • High: 오른쪽 어깨형 (Right-shoulder) 함수.
• 결정론적 동점 처리 (Tie-breaking): 소속도 (Membership weight) 가 동일한 경우, 고정된 우선순위 (Medium > Low > High) 에 따라 라벨을 할당하여 일관성을 보장합니다.
• 출력: 각 비율에 대해 소속도 (0~1) 와 최종 밴드 라벨, 밴드 점수를 기록합니다.

C. 산출물 (Artifacts)

처리된 워크북은 4 개의 시트로 구성됩니다:

1. Processing Summary: 입력 해시, 탐지된 시트/헤더 정보, 행 처리 카운터, 연도별 앵커 값.
2. Trend Analysis: 학교 - 연도별 학생당 비용 행렬 (연도별 색상 스케일 적용).
3. Report: 과목 수준의 상세 데이터 (연도별 비용, 학생 수, 비율).
4. Fuzzy Bands: 소속도, 밴드 라벨, 점수, 사용된 앵커 값.

3. 주요 기여 (Key Contributions)

1. 검증 가능한 데이터 파이프라인: 입력 데이터의 SHA-256 해시와 상세한 처리 카운터를 기록하여, 결과물의 재계산 (Recomputation) 과 비교를 통한 검증 (Auditability) 을 가능하게 합니다. 이는 FAIR 원칙 (Findability, Accessibility, Interoperability, Reuse) 에 부합합니다.
2. 해석 가능한 퍼지 분류: 단순한 임계값이 아닌, 연도별 데이터 분포 (Min, Median, Max) 에 기반한 퍼지 논리를 적용하여 'Low/Medium/High' 분류의 투명성을 높였습니다. 소속도 (Membership weights) 를 공개함으로써 분류의 근거를 수치적으로 확인할 수 있습니다.
3. 결정론적 동점 처리 전략: 퍼지 분류에서 발생할 수 있는 모호한 경계선 (Tie) 에 대해 고정된 우선순위 규칙을 도입하여, 동일한 입력이 항상 동일한 출력을 보장하도록 했습니다.
4. 증거 - 주장 매트릭스 (Claim-to-Evidence Matrix): 논문의 각 주장이 구체적인 코드, 워크북 시트, 셀 범위와 어떻게 연결되는지를 명시하여 연구의 재현성과 투명성을 극대화했습니다.

4. 결과 (Results)

• 재현성: 동일한 입력 파일과 코드 버전, 실행 환경에서 실행 시 항상 동일한 집계 테이블, 카운터, 앵커 값이 생성됨을 확인했습니다.
• 데이터 품질 관리: 결측치, 음수, 요약 행 등 다양한 데이터 품질 이슈에 대한 처리 내역을 'Processing Summary'를 통해 투명하게 보고했습니다.
• 시각적 및 서술적 해석: 'Fuzzy Bands' 시트를 통해 각 학교의 비용 효율성이 해당 연도의 분포 내에서 어디에 위치하는지 (소속도 0.6 등) 를 정량적으로 파악할 수 있게 되었습니다.
• 예시 검증: 합성 데이터 (Synthetic data) 를 이용한 예시에서, 앵커 값과 소속 함수를 사용하여 밴드 할당이 논리적으로 일관되게 수행됨을 시연했습니다.

5. 의의 및 중요성 (Significance)

• 거버넌스 및 의사결정 지원: 예산 배분과 같은 중요한 의사결정 과정에서 데이터의 출처와 변환 로직이 투명하게 공개됨으로써 이해관계자들의 신뢰를 높입니다.
• 감사 및 책임성 (Accountability): SHA-256 해시와 상세한 로그를 통해 데이터 조작이나 오류 발생 시 원인을 쉽게 추적할 수 있어, 기관의 데이터 거버넌스 수준을 향상시킵니다.
• 복잡한 데이터의 직관적 이해: 복잡한 수치 데이터를 퍼지 논리를 통해 직관적인 범주로 변환하되, 원본 수치를 숨기지 않고 함께 제공함으로써 '블랙박스' 분석의 위험을 줄입니다.
• 재현성 있는 연구 모델: 전산 연구 및 데이터 처리 워크플로우에서 재현성 (Reproducibility) 과 검증 가능성 (Verifiability) 을 확보하기 위한 모범 사례를 제시합니다.

요약하자면, 이 논문은 단순한 데이터 처리를 넘어 투명성, 검증 가능성, 해석 가능성을 핵심 가치로 삼아, 기관 내 비용 데이터 보고를 위한 견고하고 신뢰할 수 있는 자동화 프레임워크를 제안했습니다.