Coligo: A Retrieval-Augmented Generation Assistant for WhatsApp-Based TNEA Engineering Admission Counselling

기술 요약: Coligo – WhatsApp 기반 TNEA 공학 입시 상담을 위한 검색 증강 생성(RAG) 어시스턴트

문제 정의
타밀나두 공학 입시(TNEA)는 입학 절차, 학과별 등록금, 그리고 커뮤니티별 커트라인 점수(OC, BC, BCM, MBC, SC, SCA, ST)에 관한 반복적인 문의로 인해 대학 교직원들에게 과도한 업무 부하를 초래합니다. 기존의 솔루션들은 수동적인 직원 개입이나 의미론적 이해 능력이 결여된 일반적인 챗봇에 의존하고 있으며, 이는 검증된 기관 데이터에 접근할 수 없다는 한계가 있습니다. 다음과 같은 특성을 갖춘 답변을 제공하는 데 있어 중요한 격차가 존재합니다:

1. 근거 중심(Grounded): 모델의 환각(hallucination)이 아닌, 공식 대학 문서에 엄격히 기반함.
2. 커뮤니티 인지(Community-Aware): 다양한 예약 카테고리와 커트라인 유형(점수 vs 순위)을 구분함.
3. 접근성(Accessible): 새로운 앱 설치 없이 학생들이 이미 사용 중인 플랫폼(WhatsApp)에서 이용 가능함.
4. 맥락 유지(Contextual): 전체 맥락을 다시 말할 필요 없이 후속 질문(예: "ECE는 어떤가요?")을 처리할 수 있음.

방법론 및 시스템 아키텍처
Coligo는 두 개의 컴포넌트로 구성된 Docker Compose 스택(FastAPI 서비스 및 PostgreSQL 데이터베이스)으로 설계된 검색 증강 생성(RAG) 시스템입니다. 시스템 아키텍처는 다음과 같습니다:

• 데이터 주입 파이프라인(Ingestion Pipeline): 공식 대학 PDF(입학 절차, 학사 정보, 커트라인 통합)는 pypdf를 통해 처리됩니다. 텍스트는 문맥 유지를 위해 경계 부분에 50단어의 중첩(overlap)을 둔 512단어 단위의 겹치는 청크(chunk)로 분할됩니다. 청크는 재주입 시 중복 임베딩을 방지하기 위해 해시(SHA-256) 처리됩니다.
• 벡터 저장소(Vector Storage): 청크는 Google의 text-embedding-004 모델(768 차원)을 사용하여 임베딩되며, pgvector가 확장된 PostgreSQL 데이터베이스에 저장됩니다. 이를 통해 코사인 유사도(cosine distance)를 이용한 의미론적 유사도 검색이 가능합니다.
• 검색 및 생성(Retrieval and Generation):
  • 쿼리 재작성(Query Rewriting): 후속 질문을 처리하기 위해 시스템은 세션 기반 메모리(WhatsApp 전화번호 또는 세션 ID 기준)를 사용합니다. 쿼리가 맥락 의존적일 경우(예: "ECE는 어떤가요?"), 별도의 LLM 호출을 통해 쿼리를 검색용 독립형(standalone) 형태로 재작성하며, 원래의 쿼리는 최종 답변 생성을 위해 보존됩니다.
  • RAG 파이프라인: 시스템은 가장 관련성이 높은 상위 5개(RAG_TOP_K=5)의 청크를 검색합니다. 이 청크들은 도메인 규칙(커트라인 점수와 순위의 구분, 특정 예약 카테고리에 대해서만 응답, 정보 부족 시 답변 거부 등)을 강제하는 엄격한 시스템 프롬프트와 결합됩니다.
  • 생성(Generation): Google Gemini(LLM)는 검색된 문맥에만 근거하여 최종 응답을 생성합니다.
• WhatsApp 통합: 시스템은 WhatsApp Cloud API를 통해 연결됩니다. 웹훅 서명 검증(X-Hub-Signature-256)을 구현하며, 발신자 신원에 따라 메시지를 라우팅합니다. 학생의 질의는 RAG 파이프라인으로, 관리자의 질의는 명령 처리를 위한 라우팅으로 전달됩니다(단, 명령 실행 기능은 현재 제한적임).
• 배포(Deployment): 스택은 Docker Compose를 통해 컨테이너화되었으며, 컨테이너 환경에서의 DNS 해결 문제를 처리하기 위해 외부 리졸버를 고정하는 특정 설정을 포함합니다.

주요 기여
본 논문은 작동하는 프로토타입과 원래 계획된 아키텍처를 명확히 구분하며, 구현된 다음의 기여를 강조합니다:

1. 컨테이너화된 TNEA 파이프라인: 모델의 기억력이 아닌 공식 PDF 주입에 의존하는, WhatsApp에 배포된 작동 가능한 RAG 시스템.
2. 도메인 특화 시스템 프롬프트: 커트라인 계산 공식(Math/2 + Physics/4 + Chemistry/4) 및 커뮤니티별 응답의 필요성을 처리하도록 엔지니어링된 프롬프트.
3. 회복 탄력성이 있는 대화 메모리: 데이터베이스 히스토리 접근이 실패하더라도 시스템이 중단되지 않고 무상태(stateless) 답변으로 우아하게 전환되는 세션 범위 메모리 설계.
4. 재현 가능한 배포: pgvector가 포함된 PostgreSQL 및 FastAPI를 사용하는 문서화된 Docker Compose 설정(컨테이너 DNS 해결책 포함).
5. 투명한 보고: (Redis 캐싱, Celery 워커, 멀티 프로바이더 LLM 라우팅, 관리자 명령 실행 등) 아직 구현되지 않은 아키텍처 구성 요소를 명시적으로 밝힘으로써, 프로토타입을 전체 생산 시스템으로 오해하지 않도록 함.

결과 및 검증
저자들은 깨끗한 상태에서 스택을 재구축하고 Sri Krishna College of Engineering and Technology(SKCET)의 9페이지, 5,048단어 PDF를 대상으로 주입 코드를 실행하여 시스템을 검증했습니다.

• 주입(Ingestion): 파이프십은 PDF를 11개의 중첩된 청크로 성공적으로 처리했으며, 첫 번째 청크는 512단어, 마지막 청크는 428단어로 구성되어 청킹 로직이 의도대로 작동함을 확인했습니다.
• 배포(Deployment): Docker Compose 스택이 성공적으로 시작되었으며, 헬스 체크(/health 및 /health/detailed)가 HTTP 200을 반환하여 데이터베이스 연결성을 확인했습니다.
• 검증의 한한계: 검증 환경에 GEMINI_API_KEY가 설정되지 않았기 때문에, 실시간 지연 시간, 검색 정확도 및 답변 근거 지표를 수치적으로 측정하지는 못했습니다. "검색 및 생성" 단계는 실제 실행 대신 코드 리뷰를 통해 검증되었습니다.
• 관리자 라우팅: 시스템은 관리자 명령(예: /ingest, /stats)을 올바르게 감지하고 로그를 남기지만, 해당 명령의 실제 실행은 아직 구현되지 않았습니다.

의의 및 주장
본 논문은 Coligo를 완성된 상업적 제품이 아니라, 일반적인 LLM 챗봇과 경직된 키워드 기반 시스템 사이의 간극을 메우는 검증된 프로토타입으로 정의합니다. 주요 의의는 다음과 같습니다:

1. 엔지니어링의 정직성: 저자들은 설계된 아키텍처(Redis, Celery, 멀티 LLM 라우팅 포함)와 현재 구현된 내용 사이의 "격차"를 명시적으로 문서화했습니다. 프로토타입과 목표 아키텍처를 구분하는 것 자체가 하나의 기여임을 주장하며, 이해관계자들이 현재 상태를 최종 설계로 오해하지 않도록 합니다.
2. 실용적 접근성: WhatsApp을 활용함으로써 학생과 학부모가 앱을 설치해야 하는 장벽을 제거하고, 친숙한 플랫폼에서 만나도록 합니다.
3. 근거 기반의 신뢰성: 시스템은 유창함보다 사실적 정확성을 우선시하며, 소스 문서에 특정 커뮤니티 기반 데이터가 없는 경우 답변을 거부하도록 명시적으로 프로그래밍되어 있어, 입시 커트라인에 대한 환각 위험을 줄입니다.

결론적으로, 핵심적인 주입 및 검색 파이프라인은 기능적이며 검증되었으나, 제안된 아키텍처의 전체 범위를 실현하기 위해서는 관리자 명령 실행, 신뢰도 점수 산출, 인간 참여형(human-in-the-loop) 에스컬레이션, 멀리 LLM 라우팅 구현을 위한 향후 연구가 필요합니다.