Demystifying Funding: Reconstructing a Unified Dataset of the UK Funding Lifecycle

1. 문제 정의 (Problem)

영국 연구혁신청 (UKRI) 의 'Gateway to Research (GtR)' 데이터베이스는 영국 자금 지원 연구 프로젝트에 대한 가장 포괄적인 공개 기록을 제공하지만, 다음과 같은 중대한 한계를 가지고 있습니다.

• 데이터 품질 및 일관성 부족: 소프트웨어 산출물 링크 누락, URL 오류, 중복 데이터, 기관 식별자 부재, 역사적 데이터의 불완전성 등의 문제가 존재합니다.
• 라이프사이클의 단절 (Coverage Gap): GtR 은 자금 지원이 확정된 '프로젝트'만 기록할 뿐, 프로젝트가 모집된 '자금 지원 기회 (Opportunities)'나 프로젝트 선정 여부를 결정하는 '패널 회의 결과 (Panel Decisions)'와의 연결고리가 없습니다.
• 투명성 및 접근성 문제: 자금 지원 결정 과정 (패널 회의) 데이터는 연구 위원회별로 불일치하는 형식 (PDF, 스프레드시트 등) 으로 공개되거나, 일부 주요 위원회 (EPSRC, MRC 등) 는 데이터 내보내기가 비활성화된 제 3 자 대시보드 (Tableau) 를 통해만 제공되어 공개적 감시를 어렵게 합니다.
• 연구의 한계: 기존 연구는 성공적으로 자금 지원을 받은 프로젝트에만 집중하여, 자금 지원 과정의 공정성 (성별, 인종, 기관 위신에 따른 편향 등) 을 분석하는 데 있어 초기 단계 (지원서 제출 및 심사) 의 불투명성으로 인해 한계를 겪고 있습니다.

2. 방법론 (Methodology)

저자들은 세 가지 분리된 데이터 소스를 통합하여 자금 지원의 전체 라이프사이클 (기회 발표 $\rightarrow$ 패널 결정 $\rightarrow$ 연구 결과) 을 연결하는 통합 데이터셋을 재구성했습니다.

2.1. 데이터 수집 및 통합

• 데이터 소스:
  1. GtR 프로젝트 데이터베이스: 프로젝트 메타데이터, 참여자, 기관, 산출물 (논문, 특허 등).
  2. UKRI 자금 지원 기회 (Funding Opportunities): 모집 공고, 마감일, 지원 금액 범위 등.
  3. 경쟁적 자금 지원 결정 기록 (Panel Meeting Outcomes): 각 연구 위원회별 패널 회의 결과 및 참석자 명단.
• 기술적 과제 해결:
  • 비정형 데이터 파싱: HTML 기반의 공고문을 트리 구조 (Tree-structured) 로 변환하여 'What we are looking for'와 같은 섹션을 하위 노드로 구성했습니다.
  • 패널 데이터 추출: 위원회별로 상이한 형식 (엑셀, PDF, Tableau 등) 을 처리하기 위해 다양한 파싱 전략을 적용했습니다. 특히 Tableau 기반의 데이터는 스크래핑을 통해 추출했습니다.
  • 엔티티 링크 (Entity Linking): 공통 식별자가 없는 세 소스를 연결하기 위해 엄격한 임계값을 적용한 매칭 알고리즘을 사용했습니다.
    • 지원서 $\leftrightarrow$ 프로젝트: application_id 또는 award_id 와 grant_reference 의 정확한 일치 (27.1% 연결).
    • 지원서 $\leftrightarrow$ 기회: fuzzy title matching(유사도 매칭) 및 날짜/위원회 조건 필터링 (29.6% 연결).
    • 패널 참석자 $\leftrightarrow$ 인물: 성/이름 초성 클러스터링 및 기관 유사도 기반 매칭 (64.4% 연결).

2.2. 메타데이터 추출 (Metadata Extraction)

자금 지원 공고문에서 구조화된 정보 (최소/최대 지원금, UKRI 기여 비율, 기간 등) 를 추출하기 위해 계층적 검색 (Hierarchical Retrieval) 기반의 LLM 파이프라인을 구축했습니다.

• 계층적 청킹 (Hierarchical Chunking): 문서의 트리 구조를 활용하여 섹션 단위로 청크를 생성했습니다. 이는 관련 정보가 자연스럽게 공존하는 구조를 유지합니다.
• 하이브리드 검색 파이프라인:
  1. 초기 검색: BM25 와 밀도 임베딩 (Dense Embedding) 의 가중 합산 ($S_{hybrid}$) 을 사용하여 상위 k 개 후보를 선정.
  2. 재랭킹 (Re-ranking): Cross-encoder 모델을 사용하여 점수 조정.
  3. 분기 제거 (Branch-deduplication): 조상 - 자손 관계의 중복 청크 제거.
• 평가: 수동으로 주석 달은 101 개의 기회 데이터 (489 개의 질문 - 답변 쌍) 를 기준으로 정확도를 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 데이터셋 구축: UKRI 의 자금 지원 기회, 패널 결정, 프로젝트 결과를 연결한 최초의 통합 데이터셋을 공개했습니다. 이는 기존 GtR 의 '라이프사이클 단절'을 해결합니다.
2. 미지원 제안서 포함: 성공한 프로젝트뿐만 아니라 거절되거나 유보된 제안서 (Unfunded/Pending proposals) 데이터까지 포함하여 자금 지원 경쟁력과 편향 분석의 맥락을 확장했습니다.
3. 기술적 프레임워크 공개: 비정형 공고문에서 구조화된 메타데이터를 추출하는 계층적 검색 기반 파이프라인과 패널 데이터 추출을 위한 자동화 코드를 오픈소스로 공개했습니다.
4. 투명성 장벽 문서화: 데이터 접근을 제한하는 제도적, 기술적 장벽 (Tableau 사용, 데이터 내보내기 금지 등) 을 구체적으로 지적하고, 이것이 자금 지원 공정성 연구에 미치는 부정적 영향을 강조했습니다.

4. 결과 (Results)

• 데이터 규모 (Table 3):
  • 프로젝트: 173,220 건
  • 사람 (연구자/패널): 141,833 명
  • 기관: 89,884 개
  • 산출물: 2,619,446 개
  • 패널 회의: 1,449 회
  • 자금 지원 기회: 2,053 건
• 메타데이터 추출 성능:
  • 제안된 계층적 청킹 (α=0.25, 재랭킹 비활성화) 설정이 전체 정확도 **87.7%**를 기록하여, 전체 문서를 입력하는 베이스라인 (85.3%) 보다 2.4%p 높았습니다.
  • 단순 슬라이딩 윈도우 방식은 재랭킹이 없을 때 정확도가 급격히 하락하는 등 성능이 불안정했습니다.
  • 주요 오류는 '필드 혼동' (예: 총 지원금과 최대 지원금 혼동) 과 '할루시네이션' (문서에 없는 값 생성) 이었습니다.
• 연결성:
  • 지원서 - 프로젝트 연결: 27.1% (나머지는 GtR 에 기록되지 않은 미지원 제안서).
  • 지원서 - 기회 연결: 29.6%.
  • 패널 참석자 - 인물 연결: 64.4%.

5. 의의 및 결론 (Significance)

• 정책 평가 및 공정성 연구: 이 데이터셋은 자금 지원 결정의 최종 단계뿐만 아니라 초기 심사 단계까지의 데이터를 제공함으로써, 편향 (Bias) 이 발생하는 시점과 원인을 규명하는 데 필수적인 도구가 됩니다.
• 투명성 증진: UKRI 가 공개하지 않거나 접근을 제한하는 패널 결정 데이터를 공개적으로 복원함으로써, 공공 자금 사용에 대한 사회적 감시와 책임을 강화합니다.
• 향후 연구 방향: 자금 지원의 형평성 (성별, 인종, 기관 간 격차), 연구 정책의 효과성, 그리고 자금 배분 메커니즘의 최적화에 대한 새로운 연구가 가능해졌습니다.

저자들은 이 작업이 UKRI 의 데이터 접근성 장벽을 드러내는 동시에, 공공 연구 자금 지원의 전 과정을 투명하게 분석할 수 있는 기반을 마련했다고 결론지었습니다.