Resumo Técnico: Sistema RAG para Suporte a Procedimentos de Litigância Japoneses

Definição do Problema

O artigo aborda o desafio de implementar sistemas de Geração Aumentada por Recuperação (RAG) dentro do contexto específico dos procedimentos de litígios médicos japoneses. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potenciais ganhos de eficiência nos fluxos de trabalho jurídicos, sua aplicação direta enfrenta barreiras críticas relativas às normas jurídicas e à equidade processual.

No litígio civil japonês, particularmente em casos médicos, os juízes dependem de "peritos" (ex: médicos) para esclarecer disputas técnicas. Um sistema RAG destinado a substituir ou apoiar essas funções deve aderir a princípios adversariais estritos:

1. Proibição de Conhecimento Privado: Os juízes não podem basear-se em conhecimentos que não foram submetidos pelas partes ou que não constam nas evidências.
2. Validade Temporal: O padrão de cuidado ou o precedente legal aplicável a um caso depende do momento específico do incidente versus o momento do julgamento.
3. Fidelidade: As respostas geradas devem originar-se estritamente do contexto fornecido para evitar alucinações que possam induzir ao erro a deliberação judicial.

A pesquisa atual em RAG foca primariamente na precisão e na redução de alucinações, mas carece de frameworks para a conformidade com as normas processuais jurídicas, especificamente no que diz respeito à proveniência, período de validade e admissibilidade processual do conhecimento recuperado.

Metodologia e Framework Proposto

O artigo propõe um design para um sistema "RAG em conformidade com normas" adaptado ao litígio médico japonês. Em vez de apresentar resultados experimentais, os autores definem um framework teórico e um conjunto de três requisitos fundamentais que tal sistema deve satisfazer. A arquitetura do sistema (ilustrada na Figura 2) integra um módulo de recuperação com um mecanismo de manutenção de carimbo de data/hora (timestamp) e um gerador de LLM.

A metodologia é estruturada em torno de três requisitos técnicos específicos:

1. Controle de Fontes de Conhecimento (Conformidade Processual)

Para satisfazer o princípio adversarial, o sistema deve restringir o conhecimento externo a fontes que sejam processualmente admissíveis.

• Mecanismo: O escopo de recuperação é estritamente limitado a documentos que passaram por verificação crítica por comunidades de especialistas e que são igualmente acessíveis a ambas as partes.
• Estratégia de Implementação: O sistema filtra os resultados da recuperação, rotulando como inapropriadas as saídas derivadas de fontes fora do escopo admissível predefinido. Isso garante que o sistema não introduza "conhecimento privado" que infringiria direitos processuais.

2. Atribuição e Fidelidade

Para garantir que as respostas não sejam alucinações e dependam exclusivamente do contexto fornecido:

• Mecanismo: O sistema deve distinguir entre o conhecimento derivado da recuperação RAG e o conhecimento dos dados de pré-treinamento do LLM.
• Estratégia de Implementação:
  • Atribuição de Dados (DA): O sistema analisa se as afirmações na resposta gerada originam-se do contexto recuperado ou do modelo pré-treinado. Respostas que dependem de dados de pré-treinamento são sinalizadas como inapropriadas.
  • Pontuação de Fidelidade: O artigo faz referência ao uso de métricas como a Faithfulness Score (ex: via Ragas), que calcula a proporção de afirmações em uma resposta suportadas pelo contexto recuperado em relação ao número total de afirmações.
  • Verificação: O design sugere o uso de restrições explícitas em prompting e etapas de cadeia de verificação (chain-of-verification) para garantir que as sentenças candidatas estejam contidas no contexto recuperado.

3. Tempo de Referência Específico do Problema (Validade Temporal)

O sistema deve gerenciar o "período de validade" das fontes de informação, uma vez que o padrão de cuidado aplicável muda ao longo do tempo.

• Mecanismo: O sistema deve reconhecer que o conhecimento relevante para um caso depende do problema específico (ex: negligência no momento do ato vs. relação de causalidade no momento do julgamento).
• Estratégia de Implementação:** O módulo de recuperação deve manter e utilizar carimbos de data/hora (timestamps) e redes de citação. Ele deve recuperar o conhecimento válido no ponto específico no tempo relevante para a disputa, em vez de simplesmente recuperar a informação mais atualizada. Isso evita que o sistema gere conclusões baseadas em conhecimento que não existia no momento do suposto incidente.

Principais Contribuições

A principal contribuição do artigo é a definição de um framework de RAG em conformidade com normas especificamente para o domínio jurídico japonês. Diferente das avaliações gerais de RAG que focam na precisão factual, este trabalho introduz:

1. Restrições Processuais: Um requisito formal para filtrar fontes de conhecimento com base nas normas de litígio civil (admissibilidade e acesso igualitário).
2. Consciência Temporal: Um requisito arquitetônico específico para lidar com o "período de validade" do conhecimento especializado, reconhecendo que os padrões legais e médicos evoluem e que a resposta "correta" depende do contexto temporal da questão jurídica.
3. Fidelidade no Contexto Jurídico: Uma mudança no foco da avaliação da generalidade da factualidade para a atribuição de fonte, garantindo que o sistema não dependa de seu conhecimento interno pré-treinado ao gerar argumentos jurídicos.

Resultados e Alegações

O artigo é um preprint que apresenta uma proposta de design e um framework teórico; ele não relata resultados experimentais, avaliações quantitativas ou um sistema implantado.

• Status Atual: Os autores afirmam que estão desenvolvendo o sistema no momento e que seu trabalho futuro envolve propor métodos específicos para satisfazer os requisitos identificados, refinar métricas de avaliação, implementar o sistema e realizar experimentos.
• Significância: Os autores alegam que seu trabalho aborda um desafio central e não atendido na IA para o direito: a falta de pesquisa focada na conformidade com as normas jurídicas e na adequação das fontes de conhecimento. Ao definir esses três pilares (controle de fonte, fidelidade e validade temporal), o artigo visa fornecer a base necessária para a construção de sistemas RAG que possam ser confiáveis em ambientes judiciais de alto risco, onde a equidade processual é primordial.

Em resumo, o artigo argumenta que, para o RAG ser viável no litígio japonês, ele deve evoluir de uma ferramenta que simplesmente recupera informações "relevantes" para uma que recupera informações "processualmente admissíveis, temporalmente precisas e estritamente fiéis".