A Registry-Bound LLM Pipeline for Evidence-Grounded Trait Extraction across Tropical Plants, Aquatic Species, and Exotic Pets

Resumen Técnico: Un Pipeline de LLM Vinculado a un Registro para la Extracción de Rasgos Basada en Evidencia

Planteamiento del Problema
Los rasgos estructurados de las especies (por ejemplo, tolerancia a la luz, toxicidad, métodos de propagación) son esenciales para aplicaciones posteriores que van desde el modelado de nichos ecológicos hasta el cumplimiento regulatorio. Sin embargo, la producción de estos registros a escala mediante la curación manual es inviable para conjuntos de datos extensos y transdominios como la Enciclopedia de Especies Tropicales, que cubre aproximadamente 410,000 plantas tropicales cultivadas, especies acuáticas y mascotas exóticas. Si bien los Modelos de Lenguaje Extensos (LLM) ofrecen una vía para escalar, introducen problemas críticos de confianza: valores alucinados, falta de fundamentación en la evidencia, errores de vocabulario fuera de registro (OOV) y confianza no calibrada. Además, el sustrato de texto subyacente es generado por un LLM (Salto 1), lo que crea un pipeline de dos saltos donde el proceso de extracción (Salto 2) debe ser rigurosamente auditable para asegurar que los datos de seguridad crítica (por ejemplo, toxicidad, estatus CITES) no se publiquen como hechos autoritativos sin verificación.

Metodología: El Marco de Trabajo Vinculado a un Registro
El artículo propone un marco de cuatro mecanismos para hacer que la extracción de rasgos derivada de LLM sea auditable y operable a escala. El pipeline procesa el sustrato de la Enciclopedia de Especies Tropicales, donde cada registro de especie contiene siete bio-secciones canónicas en lengua china (morfología, distribución, etc.).

1. Registro de Vocabulario Cerrado Versionado: Un esquema estricto define 39 claves de rasgos a través de cuatro dominios (universales, plantas, acuáticos, mascotas) y cinco tipos de valores (texto, enum, multi_enum, int, rango). Cada valor admitido debe cumplir con este esquema tipificado. Cuatro claves están marcadas como "zona roja" (seguridad crítica: toxicidad para humanos/mascotas, peligros físicos, estatus CITES).
2. Citas de Evidencia Verbatim por Fila: Se requiere que el LLM extraiga una evidence_quote (cita de evidencia) que debe aparecer como una subcadena exacta dentro del texto de la bio-sección de origen. Esto evita que el modelo fabrique evidencia.
3. Etiquetas de Confianza Asignadas por el Modelo: El modelo asigna un nivel de confianza (Alta, Media o Baja). Los candidatos de baja confianza se derivan a retornos nulos y se descartan; solo se persisten las filas de confianza Alta y Media.
4. Preservación de Multi-versión: El sistema preserva todas las ejecuciones de extracción bajo una clave única de (species_id, trait_key, model_version). Esto permite el análisis de historial y divergencia entre modelos sin sobrescribir extracciones previas.

Pipeline de Extracción y Filtrado
El pipeline utiliza el modelo mimo-v2.5 a través de una API compatible con OpenAI. El proceso involucra tres rutas de resultado distintas para las celdas candidatas:

• Admisión: Pasa tanto el filtro de verificación de subcadena (la cita de evidencia existe en el texto fuente) como el filtro de conformidad de registro (la clave y el valor son válidos).
• Rechazo:
  • Sin Soporte de Subcadena/Evidencia: La cita no se encuentra de forma verbatim en el texto fuente (9.46% de los candidatos).
  • Fuera de Registro/OOV de Enum: La clave o el valor violan el vocabulario cerrado o los límites de tipo (0.09% de los candidatos).
• Abstención: El modelo devuelve explícitamente un valor nulo cuando no puede sustentar una afirmación, en lugar de conjeturar (37.47% de los candidatos). Esto se trata como una característica, no como un fallo.

Resultados Clave
Aplicado a 409,880 especies publicables, el pipeline ejecutó 706,220 ejecuciones y persistió 5,489,881 registros de rasgos (99.985% de cobertura de la población objetivo).

• Distribución de Confianza: El 81.57% de los registros son de Alta confianza; el 18.43% son de Media. Los rasgos de la zona roja muestran una tasa de Alta confianza mayor (87.82%) debido a su dependencia de señales léxicas explícitas en lugar de inferencia.
• Capas de Validación:
  • Capa 1 (Automatizada, Población Completa): La verificación de subcadena confirma que el 90.12% de las filas con evidencia contienen una cita verbatim del origen. Esto aumenta al 93.49% al excluir el rasgo cites_appendix_in_bio, que extrae evidencia de campos estructurados en lugar de prosa.
  • Capa 2 (Manual, n=100): Una auditoría estratificada de filas que no son de zona roja confirmó que 100/100 citas de evidencia sustentan semánticamente los valores afirmados (Límite inferior 96.30%).
  • Capa 3 (Manual, n=50): Una auditoría de validez de cara de las filas de zona roja (toxicidad) resultó en 50/50 Aceptado (Límite inferior 92.86%).
• Divergencia: Entre 2,064 pares de especie-rasgo extraídos por múltiples versiones de modelos, el 73.5% produjo valores idénticos. Las divergencias fueron mayormente cosméticas (por ejemplo, el orden en listas multi-enum) en lugar de contradictorias.

Significancia y Reivindicaciones
El artículo enmarca explícitamente su contribución como un marco metodológico en lugar de una afirmación de corrección por registro.

• Sustrato Listo para Auditoría: El depósito se posiciona como un recurso "listo para auditoría". No afirma una corrección del 100%; todos los 5.5 millones de filas están actualmente marcadas como pending (pendientes) para revisión humana. El valor reside en la maquinaria de procedencia (citas de evidencia, etiquetas de confianza, versionado) que permite a los consumidores posteriores estratificar la confianza según su caso de uso específico.
• Escalabilidad del Rigor: El trabajo demuestra que un pipeline de extracción basado en un registro, fundamentado en evidencia y capaz de operar a la escala de millones de registros manteniendo una adherencia estricta al esquema y al texto fuente, gestiona eficazmente el problema de la "confianza por fila" inherente a la extracción por LLM.
• Transparencia: Al publicar los contadores de rechazo, las tasas de abstención y las muestras de auditoría, el artículo proporciona una cuenta transparente del comportamiento del pipeline, distinguiendo entre fallos del modelo, características del protocolo (abstención) y problemas de infraestructura.

Limitaciones y Alcance
Los autores declaran explícitamente qué es lo que no se ha validado:

• Fidelidad del Salto-1: La calidad del texto del sustrato ascendente (generado por otro LLM) no es validada aquí.
• Corrección por Registro: No se hace ninguna afirmación sobre la corrección factual de cada fila de rasgo sin curación humana.
• Acuerdo Inter-Evaluador: No se ha computado el coeficiente Kappa de Cohen; las muestras de auditoría se publican para permitir la revisión ciega externa.
• Validación Trans-Familia: El acuerdo entre modelos solo se observa en una pequeña muestra de oportunidad; se difiere un estudio controlado trans-familia.

El artículo concluye que el marco de cuatro mecanismos permite con éxito la producción de un conjunto de datos de rasgos masivo, estructurado y auditable, trasladando la carga de la verificación final a los consumidores posteriores equipados con las herramientas de procedencia necesarias.