Resumo Técnico: StructSense

Declaração do Problema

A rápida expansão da literatura científica, com milhões de novos artigos publicados anualmente, sobrecarregou a capacidade dos pesquisadores de acompanhar os avanços e integrar descobertas. Embora a Extração de Informação Estruturada (SIE) seja crítica para a curadoria do conhecimento científico, as abordagens existentes enfrentam obstáculos significativos:

• Sistemas baseados em regras e ML/DL frequentemente sofrem de fragilidade frente à variabilidade linguística, exigem extensos dados de treinamento específicos do domínio ou falham em generalizar entre formatos de documentos diversos sem reengenharia manual.
• Modelos de Linguagem de Grande Escala (LLMs) oferecem capacidades flexíveis de poucos exemplos, mas lutam com terminologia específica do domínio, termos polissêmicos (por exemplo, "córtex" em neurociência versus biologia vegetal) e adesão a esquemas de saída estritos. Frequentemente carecem de integração com ontologias de domínio curadas e muitas vezes falham em fornecer proveniência transparente para fatos extraídos.
• Lacunas atuais incluem rastreamento de proveniência inadequado, falta de conformidade com FAIR (Encontrável, Acessível, Interoperável, Reutilizável) e mecanismos insuficientes para lidar com ambiguidade de domínio sem ajuste fino.

Metodologia: O Framework StructSense

Os autores apresentam o StructSense, um framework modular, agnóstico a tarefas, de código aberto e multiagente, projetado para extrair informações estruturadas de texto científico não estruturado. Ele integra conhecimento simbólico guiado por ontologia, refinamento autoavaliativo agêntico e validação com intervenção humana (HIL).

Arquitetura

O sistema orquestra quatro agentes especializados usando o framework Crew.AI:

1. Agente Extrator: Realiza a extração inicial de texto não estruturado (por exemplo, PDFs analisados via GROBID). Diferentemente de sistemas que dependem exclusivamente de LLMs, ele emprega um ensemble ponderado de modelos específicos do domínio (por exemplo, BioBERT, modelos NCBI-disease) e modelos de propósito geral (SpaCy) juntamente com um LLM.
   • Verificação: Implementa um processo de verificação multinível para mitigar alucinações. Entidades extraídas são verificadas contra trechos do texto fonte e fundamentação ao nível da frase. Entidades que falham nessas verificações são descartadas.
   • Fragmentação (Chunking): Para documentos longos, o texto é segmentado, processado em paralelo e depois mesclado com verificação global de trechos.
2. Agente de Alinhamento: Mapeia entidades extraídas para conceitos canônicos em ontologias ou grafos de conhecimento (por exemplo, UBERON, PO, NDFRT). Este agente resolve a polissemia vinculando termos ao ID de ontologia correto com base no contexto, utilizando um serviço de mapeamento de conceitos local configurável ou o BioPortal externo.
3. Agente Juiz: Atua como crítico, avaliando a saída do agente de alinhamento. Atribui uma pontuação de confiança (0–1) e fornece observações de racionalidade para cada avaliação, apoiando a interpretabilidade e a autoavaliação.
4. Agente de Feedback: Integra validação com intervenção humana (HIL), permitindo que especialistas do domínio corrijam saídas ou forneçam orientações em linguagem natural antes da geração final.

Serviço Local de Mapeamento de Conceitos

Um serviço autônomo implementado em Python (FastAPI) gerencia a recuperação de conceitos ontológicos. Trata o mapeamento como uma tarefa de recuperação de informação com três estágios:

• Indexação: Constrói representações de texto rico de conceitos ontológicos (concatenando rótulos, definições, sinônimos, pais) e gera embeddings densos (usando bge-small-en-v1.5) e índices esparsos (BM25).
• Recuperação: Suporta estratégias de recuperação baseadas em palavras-chave (BM25), baseadas em vetores e híbridas.
• Reclassificação (Re-ranking): Reordena candidatos usando um reclassificador baseado em LLM, um reclassificador de interação tardia (jina-colbert-v2) e um reclassificador de palavras-chave biomédicas. Configurações permitem reclassificação única, dupla ou em ensemble.

Proveniência e Memória

• Proveniência: Um princípio de design de primeira classe. O sistema rastreia o modelo fonte para cada extração, o método de mapeamento de conceitos (ferramenta versus conhecimento paramétrico do LLM) e a racionalidade das pontuações do juiz.
• Memória: Agentes compartilham memória contextual, de entidades e de longo prazo para manter a continuidade ao longo do pipeline.

Contribuições Principais

1. Framework Agêntico Agnóstico a Tarefas: Um sistema modular que opera sem ajuste fino em diversas tarefas de extração (extração de esquema, extração de recursos, NER) ao orquestrar agentes especializados.
2. Fundamentação Guiada por Ontologia: Integração de conhecimento de domínio curado via ontologias para resolver ambiguidade e garantir normalização semântica, abordando a "lacuna de conhecimento" em LLMs.
3. Verificação Robusta e Proveniência: Fundamentação explícita de fontes (verificação de trechos e frases) e rastreamento sistemático de proveniência (fonte do modelo, origem do mapeamento, racionalidade do juiz) para aumentar a confiança e a reprodutibilidade.
4. Integração com Intervenção Humana: Um mecanismo para validação por especialistas para corrigir alucinações e refinar saídas, particularmente para previsões de alta incerteza.
5. Serviço Local de Mapeamento de Conceitos: Um serviço de recuperação e reclassificação de alto desempenho e código aberto para mapeamento ontológico que reduz a dependência de APIs proprietárias.

Resultados Experimentais

O framework foi avaliado em três estudos de caso usando três modelos fundamentais (GPT-4o-mini, Gemini 3.1 Flash Lite, Qwen):

• Estudo de Caso I (Domínio de Neurociência):
  • Extração de Esquema: Alcançou 91–100% de precisão na conversão de instrumentos de avaliação para metadados legíveis por máquina (ReproSchema). O GPT-4o-mini alcançou uma pontuação composta perfeita.
  • Extração de Recursos: Alcançou 86–93% de recall geral na extração de metadados (modelos, conjuntos de dados, ferramentas) de artigos científicos.
  • NER de Neurociência: Alcançou 58–75% de precisão de rótulo entre 8.882 entidades extraídas. O desempenho variou por tipo de entidade, com precisão quase perfeita para categorias bem definidas (Tipo de Célula: 99%, Espécie: 99%) e precisão menor para categorias mais amplas (Organização: 54%).
• Estudo de Caso II (Benchmarks de NER Biomédica):
  • Avaliado nos conjuntos de dados NCBI Disease e S800 Species.
  • Alcançou recall relaxado ≥90% (97,0% no NCBI Disease com Qwen) e recall estrito de 62,5–85,8%.
  • O sistema extraiu 1.000–3.600 entidades adicionais além das anotações de ouro (por exemplo, identificando genes em artigos focados em doenças), demonstrando capacidades de extração mais amplas.
• Estudo de Caso III (Mapeamento Local de Conceitos):
  • Alcançou Hits@1 de 62–82% sob correspondência estrita e 68–86% sob correspondência semântica.
  • A reclassificação única por LLM performou melhor (81,8% Hits@1 estrito), mas configurações totalmente locais (interação tardia dupla) permaneceram competitivas (86,8% Hits@5), sugerindo viabilidade sem APIs proprietárias.

Significado e Alegações

O artigo afirma que o StructSense demonstra generalização entre tarefas e domínios enquanto mantém fundamentação de fontes e transparência de proveniência. Ao combinar extração baseada em LLM com mapeamento de conceitos orientado por ontologia, o sistema transforma conteúdo não estruturado em saídas estruturadas e semanticamente normalizadas que suportam os princípios FAIR.

Os autores posicionam o StructSense como uma solução para as limitações dos atuais sistemas de IE:

• Supera a fragilidade de sistemas baseados em regras e a fome de dados de abordagens ML/DL ao operar sem ajuste fino.
• Aborda a falta de conhecimento de domínio e a adesão a esquemas em LLMs por meio de alinhamento ontológico e refinamento agêntico.
• Aumenta a confiabilidade por meio de rastreamento explícito de proveniência e validação com intervenção humana, tornando as saídas mais adequadas para uso downstream confiável na descoberta científica.

Os autores reconhecem limitações, incluindo desalinhamentos ocasionais entre domínios no mapeamento ontológico devido à cobertura limitada de ontologias locais e a dependência de dicionários de consenso heurísticos para avaliação de NER em neurociência, em vez de anotações puramente manuais de especialistas. Propõe-se trabalho futuro para expandir a cobertura ontológica, desenvolver benchmarks anotados por especialistas e estender o framework para extração de relações.