A Registry-Bound LLM Pipeline for Evidence-Grounded Trait Extraction across Tropical Plants, Aquatic Species, and Exotic Pets

Resumo Técnico: Um Pipeline de LLM Vinculado a um Registro para Extração de Traços Baseada em Evidências

Declaração do Problema
Traços estruturados de espécies (ex: tolerância à luz, toxicidade, métodos de propagação) são essenciais para aplicações downstream que variam desde a modelagem de nicho ecológico até a conformidade regulatória. No entanto, produzir esses registros em escala via curadoria manual é inviável para conjuntos de dados extensos e de domínios cruzados como a Tropical Species Encyclopedia, que cobre aproximadamente 410.000 plantas tropicais cultivadas, espécies aquáticas e animais exóticos. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam um caminho para a escalabilidade, eles introduzem problemas críticos de confiança: valores alucinados, falta de fundamentação em evidências, erros de vocabulário fora do registro (OOV) e confiança não calibrada. Além disso, o substrato de texto subjacente é gerado por LLM (Hop 1), criando um pipeline de dois saltos (two-hop) onde o processo de extração (Hop 2) deve ser rigorosamente auditável para garantir que dados de segurança crítica (ex: toxicidade, status CITES) não sejam publicados como fatos autoritativos sem verificação.

Metodologia: O Framework Vinculado ao Registro
O artigo propõe um framework de quatro mecanismos para tornar a extração de traços derivada de LLM auditável e operável em escala. O pipeline processa o substrato da Tropical Species Encyclopedia, onde cada registro de espécie contém sete seções biológicas canônicas em língua chinesa (morfologia, distribuição, etc.).

1. Registro de Vocabulário Fechado Versionado: Um esquema estrito define 39 chaves de traços em quatro domínios (universal, plantas, aquáticos, pets) e cinco tipos de valores (texto, enum, multi_enum, int, range). Todo valor admitido deve estar em conformidade com este esquema tipado. Quatro chaves são marcadas como "zona vermelha" (segurança crítica: toxicidade para humanos/pets, perigos físicos, status CITES).
2. Citações de Evidência Verbatim por Linha: O LLM é obrigado a extrair uma evidence_quote que deve aparecer como uma substring exata dentro do texto da seção biológica de origem. Isso evita que o modelo fabrique evidências.
3. Rótulos de Confiança Atribuídos pelo Modelo: O modelo atribui um nível de confiança (Alta, Média ou Baixa). Candidatos de baixa confiança são roteados para retornos nulos e descartados; apenas linhas de confiança Alta e Média são persistidas.
4. Preservação de Múltiplas Versões: O sistema preserva todas as execuções de extração sob uma chave única de (species_id, trait_key, model_version). Isso permite a análise de histórico e divergência entre modelos sem sobrescrever extrações anteriores.

Pipeline de Extração e Filtragem
O pipeline utiliza o modelo mimo-v2.5 via uma API compatível com OpenAI. O processo envolve três caminhos de resultado distintos para células candidatas:

• Admissão: Passa pelos filtros de verificação de substring (a citação de evidência existe no texto de origem) e conformidade do registro (chave e valor são válidos).
• Rejeição:
  • Não Suportado por Substring/Evidência: A citação não é encontrada verbatim na fonte (9,46% dos candidatos).
  • OOV de Registro/Enum: A chave ou o valor viola o vocabulário fechado ou os limites de tipo (0,09% dos candidatos).
• Abstenção: O modelo retorna explicitamente nulo quando não consegue sustentar uma afirmação, em vez de adivinhar (37,47% dos candidatos). Isso é tratado como um recurso, não como uma falha.

Resultos Principais
Aplicado a 409.880 espécies publicáveis, o pipeline executou 706.220 execuções e persistiu 5.489.881 registros de traços (99,985% de cobertura da população alvo).

• Distribuição de Confiança: 81,57% dos registros são de Alta confiança; 18,43% são de Média confiança. Os traços da zona vermelha apresentam uma taxa de Alta confiança superior (87,82%) devido à sua dependência de sinais lexicais explícitos em vez de inferência.
• Camadas de Validação:
  • Camada 1 (Automatizada, População Total): A verificação de substring confirma que 90,12% das linhas que possuem evidência contêm uma citação verbatim da fonte. Isso sobe para 93,49% ao excluir o traço cites_appendix_in_bio, que extrai evidências de campos estruturados em vez de prosa.
  • Camada 2 (Manual, n=100): Uma auditoria estratificada de linhas não pertencentes à zona vermelha confirmou que 100/100 citações de evidência sustentam semanticamente os valores assertados (Limite inferior de 96,30%).
  • Camada 3 (Manual, n=50): Uma auditoria de validade de face de linhas da zona vermelha (toxicidade) resultou em 50/50 Aceito (Limite inferior de 92,86%).
• Divergência: Entre 2.064 pares de espécie-traço extraídos por múltiplas versões de modelos, 73,5% produziram valores idênticos. As divergências foram majoritariamente cosméticas (ex: ordenação em listas de multi_enum) em vez de contraditórias.

Significância e Alegações
O artigo enquadra explicitamente sua contribuição como um framework metodológico, e não como uma alegação de correção por registro.

• Substrato Pronto para Auditoria: O depósito é posicionado como um recurso "pronto para auditoria". Não se alega 100% de correção; todos os 5,5 milhões de linhas estão atualmente marcados como pending para revisão humana. O valor reside na maquinaria de proveniência (citações de evidência, rótulos de confiança, versionamento) que permite aos consumidores downstream estratificar a confiança com base em seu caso de uso específico.
• Escalabilidade do Rigor: O trabalho demonstra que um pipeline de extração baseado em registro e fundamentado em evidências pode operar na escala de milhões de registros enquanto mantém estrita adesão ao esquema e ao texto de origem, gerenciando efetivamente o problema da "confiança por linha" inerente à extração por LLM.
• Transparência: Ao publicar os contadores de rejeição, taxas de abstenção e amostras de auditoria, o artigo fornece uma prestação de contas transparente sobre o comportamento do pipeline, distinguindo entre falha do modelo, recursos do protocolo (abstenção) e problemas de infraestrutura.

Limitações e Escopo
Os autores declaram explicitamente o que não é validado:

• Fidelidade do Hop-1: A qualidade do texto do substrato de origem (gerado por outro LLM) não é validada aqui.
• Correção por Registro: Nenhuma alegação é feita de que um registro de traço individual seja factualmente correto sem curadoria humana.
• Acordo Inter-Avaliador: O coeficiente Kappa de Cohen não foi computado; as amostras de auditoria são publicadas para permitir revisão cega externa.
• Validação de Família Cruzada: O acordo entre modelos é observado apenas em uma pequena amostra de oportunidade; um estudo controlado de família cruzada é postergado.

O artigo conclui que o framework de quatro mecanismos permite com sucesso a produção de um conjunto de dados de traços massivo, estruturado e auditável, transferindo o ônus da verificação final para os consumidores downstream equipados com as ferramentas de proveniência necessárias.