RTI-Bench: A Structured Dataset for Indian Right-to-Information Decision Analysis

인도의 정보공개법 (RTI) 제도를 상상해 보세요. 이는 모든 시민이 원하는 책 (정보) 을 정부에 요청할 권리가 있는 거대하고 분주한 도서관과 같습니다. 하지만 함정이 하나 있습니다. 사서들 (정부 공무원) 은 종종 비밀 코드로 답변을 보내며, 도서관장 (중앙정보위원회 또는 CIC) 은 최종 판결을 마치 외국어 주문서처럼 읽기 어려운 복잡한 법률 용어로 작성합니다. 대부분의 사람들은 항소가 worthwhile 한지, 아니면 결정이 실제로 무엇을 의미하는지 알 수 없어 포기합니다.

이 논문은 그 "주문서"를 평이한 영어로 번역하고, 도서관의 기록을 컴퓨터가 우리를 도울 수 있도록 정리하는 새로운 도구인 RTI-Bench를 소개합니다.

다음은 이 논문이 실제로 무엇을 하는지 간단한 비유로 정리한 내용입니다:

1. 문제: 텍스트의 벽

CIC 는 매년 수천 건의 결정을 내립니다. 이 결정들은 공개되어 있지만, 변호사라고 가정하고 작성된 방식입니다. 정부의 결정에 맞서 싸울지 여부를 알고 싶다면 복잡한 전문 용어로 가득 찬 페이지들을 헤쳐 나가야 합니다. 이 논문은 이러한 문서를 해독할 "로제타 석"이 필요하다고 주장합니다.

2. 해결책: RTI-Bench (정리된 문서함)

저자들은 RTI-Bench라는 구조화된 데이터셋을 구축했습니다. 이는 1,516 개의 법률 문서로 뒤죽박죽인 더미에서 시작해 모든 폴더에 명확한 라벨이 붙은 깔끔한 디지털 문서함으로 바꾸는 것과 같습니다.

• 내용: 각 파일에는 결과 (시민이 이겼는가?), 사용된 이유 (왜 졌는가?), 그리고 사건 타임라인에 대한 태그가 포함되어 있습니다.
• 출처: 그들은 두 곳에서 데이터를 수집했습니다:
  1. 온라인에서 발견된 1,218 개의 기존 요약본 (정리됨).
  2. 2023 년부터 2026 년 사이 CIC 웹사이트에서 직접 다운로드한 298 개의 새로운 PDF.

3. 방법: "로봇 사서" (규칙 기반 추출)

아마도 그들이 이 문서들을 읽기 위해 정교한 AI 를 사용할 것이라고 기대할 것입니다. 대신 그들은 규칙 기반 파이프라인을 구축했습니다.

• 비유: "생각"하거나 "추측"하지 않는 로봇 사서를 상상해 보세요. 대신 엄격한 체크리스트를 따릅니다: "만약 대문자로 된 'DECISION'이라는 단어를 보이면 다음 줄을 보세요. 'Rs.'를 보이면 숫자를 찾으세요."
• 왜 이렇게 하는가? 저자들은 법률 문서를 라벨링하기 위해 똑똑한 AI(대규모 언어 모델, LLM) 를 사용하는 것은 위험하다고 말합니다. AI 가 사실을 지어내거나 혼란스러워할 수 있기 때문입니다. 그들의 "멍청한" 로봇은 100% 재현 가능하며, 비용이 들지 않고 일반 노트북에서 90 초 미만으로 실행됩니다.
• 결과: 그들은 50 개의 무작위 파일을 수동으로 확인했고, 로봇의 정확도가 **95.3%**임을 발견했습니다.

4. 과제: 세 가지 다른 "폰트"

이 논문은 CIC 가 2017 년 이후 문서 템플릿을 세 번 변경했다는 사실을 발견했습니다.

• 2023a: 특정 "사실/결정" 구조를 사용합니다.
• 2023b: "관찰"과 "결정"을 분리합니다.
• 2026: 현재 형식으로, 큰 굵은 "DECISION" 블록을 사용합니다.
  로봇은 이 세 가지 다른 "폰트"를 인식하고 번역가가 서로 다른 사투리 사이를 전환하듯 읽기 전략을 전환하도록 프로그래밍되었습니다.

5. 첫 번째 테스트: 컴퓨터가 승자를 맞출 수 있는가?

저자들은 기본 AI 모델 (Mistral 7B) 을 100 건의 사례에 테스트하여 텍스트만 읽어서 결과를 예측할 수 있는지 확인했습니다.

• 점수: AI 는 **57.3%**의 정확도를 보였습니다.
• 비교: AI 가 매번 가장 흔한 답변을 단순히 추측했다면 (학생이 객관식 시험에서 "C"를 찍는 것처럼), **14.3%**만 맞출 것입니다.
• 교훈: AI 는 무작위 추측보다 훨씬 잘 수행하고 있어, 컴퓨터가 이러한 법률 결정을 이해할 수 있음을 증명하지만, 여전히 개선의 여지가 많습니다 (특히 드문 결과의 경우).

6. 이것으로 무엇을 할 수 있는가? (네 가지 작업)

이 논문은 연구자들이 이 데이터로 플레이할 네 가지 구체적인 게임을 제안합니다:

1. 결과 예측: "이야기를 바탕으로 시민이 이길지 잃을지 예측하세요."
2. 면제 감지: "정부가 '아니오'라고 말하기 위해 사용한 어떤 비밀 규칙 (예: '사생활' 또는 '상업적 신뢰') 이었습니까?"
3. 평이한 언어 요약: "이 법률 명령을 일반인이 이해할 수 있는 문장으로 번역하세요."
4. 준수 확인: "정부가 실제로 명령을 따랐습니까, 아니면 벌금을 물려야 합니까?" (참고: 이 경우의 예는 17 개뿐이므로 파일럿 테스트에 불과합니다).

7. 세부 사항 (한계)

저자들은 이 도구가 아직 무엇을 할 수 없는지 매우 솔직하게 밝힙니다:

• 범위: 그들은 새로운 PDF 의 약 절반만 완전히 라벨링되었으며, 나머지는 더 많은 작업이 필요합니다.
• 범위: 이는 주 (州) 차원의 위원회가 아닌 중앙 위원회만 다루며, 주 차원의 위원회는 더 많은 사건을 처리합니다.
• 누락된 논리: 로봇은 정부가 규칙 번호를 명시적으로 적어낼 때만 면제를 포착합니다. 만약 그들이 이름을 밝히지 않고 규칙을 사용하면 로봇은 이를 놓칩니다.
• 윤리: 그들은 이 도구가 사람들이 항소를 제기하는 것을 막는 데 사용되어서는 안 된다고 경고합니다. 항소가 "이길 가능성이 낮다"고 해서 제기해서는 안 된다는 뜻은 아닙니다. 항소를 제기하는 행위 자체가 정부를 책임 있게 만들기 때문입니다.

요약

RTI-Bench는 인도의 RTI 결정을 정리한 최초의 공개 데이터셋입니다. 이는 단순한 규칙 기반 로봇을 사용하여 messy 한 법률 PDF 를 깨끗한 데이터로 변환합니다. 초기 테스트는 컴퓨터가 이러한 결정을 이해하기 시작할 수 있음을 보여주며, 이는 일반 시민이 복잡한 정부 정보 요청 세계를 탐색하는 데 도움이 될 미래 도구의 길을 닦아줍니다.