Chunking German Legal Code

Resumo Técnico: Fragmentação do Código Civil Alemão

Declaração do Problema
A adoção crescente de Modelos de Linguagem de Grande Porte (LLMs) em serviços jurídicos exige sistemas robustos de Geração Aumentada por Recuperação (RAG) para mitigar alucinações. No entanto, a recuperação eficaz é prejudicada pelo fenômeno "perdido no meio" e pelas limitações da janela de contexto, o que exige que as informações recuperadas sejam pequenas e altamente relevantes. Um desafio crítico em domínios jurídicos, especificamente com o Código Civil Alemão (Bürgerliches Gesetzbuch, BGB), é que estratégias padrão de fragmentação frequentemente rompem a estrutura hierárquica deliberada do texto legal. As normas jurídicas são organizadas em unidades específicas (seções, subseções, frases) onde condições e consequências estão estritamente acopladas. Janelas de tamanho fixo tradicionais ou agregações semânticas correm o risco de quebrar esses limites lógicos, levando à perda de contexto essencial para a resposta precisa a perguntas jurídicas (QA). Além disso, métodos avançados de fragmentação introduzem sobrecarga computacional significativa em termos de tempo de construção do índice, latência de consulta e requisitos de armazenamento.

Metodologia
Os autores avaliam uma gama abrangente de estratégias de segmentação no corpus do BGB, normalizado em 2.455 seções hierárquicas. A avaliação utiliza um conjunto de dados de QA jurídica (gerlayqa-bgb-paraphrased) contendo 525 perguntas de leigos com rótulos dourados ao nível de seção. O estudo compara as seguintes abordagens:

1. Baselines de Preservação de Estrutura:
   • Janelas de Tamanho Fixo: Janelas sobrepostas de tamanhos variados de tokens (por exemplo, 16/4 a 256/64).
   • Unidades Básicas: Divisão do texto em limites jurídicos naturais: Seções (§), Subseções (Absätze), Frases (Sätze) e Proposições (declarações jurídicas autocontidas).
2. Estratégias Avançadas/Intensivas em LLM:
   • Fragmentação Estilo Lumber: Utiliza um LLM para identificar dinamicamente limites semânticos, criando fragmentos de comprimento variável que podem abranger múltiplas seções legais.
   • Fragmentação Contextual: Augmenta unidades básicas com prefixos contextuais gerados por LLM (hierarquia e texto completo da seção) antes da incorporação.
   • Agrupamento Semântico: Agrupa unidades básicas semanticamente similares usando KMeans, agrupando incorporações em vetores de cluster únicos.
   • RAPTOR: Um método de recuperação hierárquica que agrupa recursivamente e resume fragmentos em uma estrutura de árvore, roteando consultas através de nós de resumo até nós folha.

Métricas de Avaliação
O estudo mede quatro dimensões-chave:

• Recall@10: A capacidade de recuperar as 10 seções distintas corretas no topo que correspondem aos rótulos dourados.
• Latência de Consulta: Tempo de busca e agregação online (excluindo a incorporação inicial).
• Tempo de Construção do Índice: Custo computacional offline para construir o índice.
• Requisitos de Armazenamento: Pegada de memória persistente do índice e metadados.

Principais Resultados

• Desempenho de Recuperação: Estratégias alinhadas com a estrutura legal inerente alcançaram o maior recall. A recuperação de subseção performou melhor (Recall@10 ≈ 0,47), seguida de perto pela recuperação de seção (≈ 0,46). A recuperação de frases e proposições formou o próximo nível. Em contraste, métodos que sobrepõem a estrutura legal performaram pior: a fragmentação Estilo Lumber e de Tamanho Fixo produziram o menor recall, com a configuração de tamanho fixo mais grosseira (256/64) performando a pior. Agrupamento semântico e RAPTOR ocuparam um nível intermediário, geralmente performando abaixo das baselines estruturais.
• Latência: O RAPTOR foi o método mais rápido (aprox. 2,0–2,3 ms) devido ao podamento hierárquico do espaço de busca. Agrupamento semântico e Lumber foram os mais lentos (13–16 ms) devido à consolidação extensa pós-recuperação. Entre as baselines planas, a latência escalou como Seção ≈ Proposição < Frase < Subseção, pois unidades mais finas mapeiam para menos seções parentais distintas, reduzindo a sobrecarga de agregação.
• Tempo de Construção: Índices planos determinísticos (Tamanho Fixo, Seção) foram os mais rápidos (menos de 1 minuto). RAPTOR e Lumber exigiram significativamente mais tempo (3–11 horas) devido a chamadas recursivas de LLM para sumarização e detecção de limites. A fragmentação contextual também incorreu em altos custos (38–51 minutos) devido ao pré-processamento por LLM.
• Armazenamento: Tamanho Fixo (256/64) e Agrupamento Semântico foram os mais compactos (aprox. 15 MB) devido à redução de vetores. O armazenamento aumentou monotonicamente para baselines planas à medida que a granularidade aumentava (Seção < Subseção < Frase < Proposição). O RAPTOR exigiu mais espaço que as baselines planas devido ao armazenamento de ambos os nós folha e nós de resumo.

Significado e Alegações
O artigo demonstra um compromisso crítico entre enriquecimento semântico e eficiência operacional. Os autores afirmam que, para texto estatutário codificado como o BGB, preservar a estrutura específica do domínio é mais eficaz do que tentar enriquecer semanticamente ou reorganizar o texto por meio de métodos complexos orientados por LLM.

• Integridade Estrutural: Os limites deliberados traçados pelos legisladores (seções e subseções) agrupam naturalmente condições e consequências. A recuperação nessa granularidade alinha-se tanto com a intenção do legislador quanto com os rótulos dourados de avaliação, enquanto métodos que agrupam disposições com base em similaridade temática (Agrupamento Semântico) ou coerência prevista (Lumber) tendem a borrar distinções jurídicas específicas, reduzindo o recall.
• Eficiência vs. Complexidade: Métodos mais simples e que preservam a estrutura oferecem precisão de recuperação superior ou comparável com custos computacionais significativamente menores (tempo de construção, latência e armazenamento) em comparação com técnicas intensivas em LLM como RAPTOR e Lumber.
• Limitações: O estudo reconhece que os resultados são específicos ao BGB e a consultas de leigos. Não aborda a resolução de referências cruzadas (links explícitos ou implícitos entre seções), o que permanece uma via potencial para melhoria futura. A avaliação foca na correção da recuperação e não no desempenho gerativo downstream.

Em conclusão, os autores argumentam que, para recuperação de informação jurídica em estatutos estruturados, a abordagem "mais simples" — respeitar a hierarquia nativa do código — é frequentemente a mais robusta e eficiente, desafiando a suposição de que segmentação semântica mais complexa é sempre superior.