1. 문제 정의 (Problem Statement)

• 분산된 개발 환경: 대학 및 연구소와 같은 기관 내 오픈소스 소프트웨어 개발은 중앙화되지 않고 분산되어 있어 추적하기 어렵습니다.
• 일관성 부족: 학술 팀은 많은 영향력 있는 과학적 도구를 생산하지만, 명확한 라이선스, 문서화, 커뮤니티 참여와 같은 일관된 오픈소스 관행을 따르지 않는 경우가 많습니다.
• 가시성 및 지속 가능성 문제: 이러한 노력은 제한된 가시성과 기관 차원의 인식 부재로 인해 간과되기 쉽고, 소프트웨어 자체의 장기적인 유지보수가 어렵습니다.
• 기존 방법의 한계: 기존 도구들은 키워드 검색에 의존하거나 수동 필터링을 요구하여, 포크 (fork), 수업 과제, 또는 여러 기관이 언급된 모호한 결과물 (False Positives) 을 걸러내기 어렵고 확장성이 부족했습니다.

2. 방법론 (Methodology)

저자들은 10 개의 UC (캘리포니아 대학교) 캠퍼스를 사례 연구로 하여, GitHub REST API 와 대규모 언어 모델 (LLM) 을 결합한 종단 간 (End-to-End) 파이프라인을 구축했습니다.

2.1 데이터 수집 (Discovery Phase)

• 고 회수율 (High Recall) 전략: GitHub 의 REST API 를 활용하여 3 단계로 데이터를 수집합니다.
  1. 저장소 검색: 기관명, 약어, 도메인, 대체 이름 등을 키워드로 저장소 메타데이터 (이름, 설명, README, 태그, 이메일) 에 매칭.
  2. 조직 검색: 기관 관련 키워드가 포함된 GitHub 조직 (Organization) 계정 식별 및 해당 소유 저장소 수집.
  3. 사용자 검색: 기관 관련 키워드가 포함된 개인 개발자 (User) 프로필 식별 및 해당 소유 저장소 수집.
• 메타데이터 확장: 저장소 소유자, 기여자, 조직 정보뿐만 아니라 README, 행동 강령 (CoC), 기여 가이드, 보안 정책 등 커뮤니티 파일 유무 및 참여 지표 (별점, 포크, 다운로드) 를 추가로 수집합니다.

2.2 데이터 필터링 (Filtering Phase)

수집된 대량의 데이터에서 기관과 실제로 연관된 저장소를 식별하기 위해 False Positive 를 제거하는 필터링 단계를 거칩니다.

• 데이터 정제: 포크, 아카이브된 저장소, 템플릿, 파일이 없는 저장소 등을 제거합니다.
• LLM 기반 필터링: 규칙 기반 스코어링, 임베딩 기반 머신러닝, 그리고 LLM (gpt-5-mini) 을 비교 평가한 결과, LLM 이 가장 높은 정확도와 비용 효율성을 보였습니다.
  • 정의 (Definition): 저장소가 대학에 소속되었다고 간주되는 7 가지 기준 (연구 단위 개발, 기여자 소속 명시, 기관 소유/후원, 공식 소유, 협력 관계, 교육용 인프라, 온라인 과정 등) 을 정의했습니다.
  • 프롬프트 엔지니어링: 저장소 메타데이터와 기관 컨텍스트를 입력받아 소속 확률 (0~1) 과 근거를 생성하도록 모델을 프롬프트합니다.

2.3 프로젝트 분류 (Categorization Phase)

소속이 확인된 저장소를 목적에 따라 6 가지 카테고리로 분류합니다.

• 카테고리: DEV(소프트웨어 개발), EDU(교육 자료), DOCS(문서), WEB(웹사이트), DATA(데이터셋), OTHER(기타).
• LLM 활용: 저장소 정보와 정의된 카테고리 정의를 입력받아 가장 적합한 카테고리를 할당합니다.

3. 주요 기여 (Key Contributions)

1. 확장성 있는 발견 방법론: 저장소 및 기여자 메타데이터를 기반으로 한 '저장소 서명 (Repository Signature)'을 정의하여 기관 소속 오픈소스 저장소를 체계적으로 발견하는 확장 가능한 방법론을 제시했습니다.
2. 실무적 통찰 도출: 10 개 UC 캠퍼스 데이터를 분석하여 라이선스 부재, 문서화 부족, 커뮤니티 참여 미흡 등 구체적인 관행 패턴을 발견하고, 이를 기관의 지원 및 정책 수립에 활용할 수 있는 실행 가능한 통찰을 제공했습니다.
3. 오픈소스 도구 공개: 저장소 스크래핑, 필터링, 분석을 위한 전체 코드를 오픈소스로 공개하여 다른 기관의 재현 및 추가 연구를 가능하게 했습니다.

4. 결과 (Results)

• 데이터 규모: 10 개 UC 캠퍼스에서 총 236,037 개의 저장소를 수집했습니다.
• 필터링 성능: gpt-5-mini 모델을 사용한 필터링 결과, 3 개 캠퍼스 (UCSB, UCSC, UCSD) 에서 F1-score 0.90 이상, 정확도 0.91 이상을 달성했습니다.
  • 초기 수집된 저장소 중 약 47.1% 만이 실제로 기관과 연관된 것으로 판별되었습니다.
  • UCSD 가 가장 많은 연관 저장소 (18,163 개) 를 보유하고 있었으며, UC Merced 는 상대적으로 적었습니다.
• 프로젝트 유형 분포:
  • 전체 연관 저장소의 약 **85%**가 **DEV(42.9%)**와 **EDU(42.1%)**로 구성되었습니다.
  • UCSF(의과대학) 는 연구 중심 (DEV 63.0%) 이고, UCSB 나 UCR 은 교육 자료 (EDU) 비율이 높았습니다.
• 라이선스 및 관행 분석:
  • 라이선스: 저장소의 70% 이상이 명시적인 라이선스가 없었습니다. 라이선스가 있는 경우 MIT 라이선스가 가장 흔했습니다.
  • 커뮤니티 표준: README(약 85%) 와 설명(약 60%) 은 널리 사용되었으나, 기여 가이드, 행동 강령, 보안 정책 등의 채택률은 2% 미만으로 매우 낮았습니다.
  • 인기도와의 상관관계: 별점 (Stars) 이 많은 프로젝트일수록 라이선스나 문서화 등 커뮤니티 표준을 더 잘 따르는 경향이 있었으나, 전체적으로 여전히 미흡한 수준이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기관별 오픈소스 생태계 이해: 이 연구는 대학 시스템 전체의 오픈소스 현황을 체계적으로 파악할 수 있는 첫 번째 대규모 자동화 프레임워크를 제시했습니다.
• 정책 및 지원의 근거: 많은 프로젝트가 라이선스나 문서화 없이 방치되고 있음을 밝혀, 기관 차원의 오픈소스 프로그램 사무실 (OSPO) 이나 지원 정책이 시급함을 입증했습니다.
• 확장성: 이 파이프라인은 UC 시스템에 국한되지 않으며, 설정 파일의 키워드만 수정하면 전 세계 어떤 기관에도 적용 가능합니다.
• 향후 계획: 연구팀은 발견된 데이터를 바탕으로 UC 시스템 전체의 오픈소스 프로젝트를 시각화하고, 영향력 있는 프로젝트를 선별하여 지원할 수 있는 공개 브라우저 (Public Browser) 를 구축할 예정입니다.

이 논문은 단순한 저장소 목록화를 넘어, 데이터 기반의 의사결정을 통해 학술 기관의 오픈소스 기여를 강화하고 지속 가능성을 높이는 데 기여한다는 점에서 중요한 의의를 가집니다.