Verifiable Knowledge Expansion through Retrieval-Grounded Formal Concept Analysis

Resumo Técnico: Expansão de Conhecimento Verificável através de Análise de Conceitos Formais Baseada em Recuperação

Definição do Problema
A construção de ontologias biomédicas, como o mapeamento de doenças raras para atributos fenotípicos, tradicionalmente exige uma curadoria manual dispendiosa por parte de especialistas do domínio. Embora os Grandes Modelos de Linguagem (LLMs) possam propor estruturas de conhecimento a partir de textos, seus resultados carecem frequentemente de verificabilidade, levando a relações não fundamentadas ou inconsistentes. O desafio técnico central é verificar as estruturas de conhecimento propostas antes que elas se tornem compromissos permanentes. Especificamente, o sistema deve ser capaz de formular perguntas estruturais direcionadas e incorporar contraexemplos quando uma regularidade proposta (ex: "A Doença X com sintomas A e B deve possuir o sintoma C") falha.

Metodologia
O artigo propõe um framework híbrido que combina a Análise de Conceitos Formais (FCA) como um loop de verificação simbólica com um sistema de Geração Aumentada por Recuperação (RAG) alimentado por Modelos de Linguagem Pequenos (SLMs). O processo opera como um loop iterativo de exploração de ontologia:

1. Inicialização: O sistema inicia com um conjunto finito e controlado de atributos fenotípicos ($M$) e um subconjunto semente ($M_0$).
2. Exploração de Atributos via FCA: Utilizando o contexto formal atual (objetos observados $E_\tau$ e atributos ativos $M_\tau$), o módulo FCA gera implicações candidatas ($A \rightarrow B$). Uma implicação sugere que qualquer doença que possua os atributos no conjunto $A$ também deve possuir os atributos no conjunto $B$.
3. Oráculo SLM Baseado em RAG: Para cada implicação candidata, o sistema recupera evidências textuais de nível de doença relevantes para a premissa e a conclusão. Um oráculo SLM realiza julgamentos binários restritos e baseados em evidências:
   • Aceitação: Se a evidência suporta a implicação, ela é adicionada à base de implicações.
   • Rejeição: Se a evidência contradiz a implicação, o oráculo deve retornar um objeto contraexemplo específico (uma doença que possui $A$, mas carece de pelo menos um atributo em $B$).
   • Julgamento de Incidência: O oráculo também valida pares específicos de objeto-atributo (SIM/NÃO) com base nos trechos recuperados.
4. Atualização de Contexto: Implicações aceitas refinam a base de conhecimento. Implicações rejeitadas introduzem objetos contraexemplo no contexto observado, impedindo que o sistema generalize excessivamente.
5. Expansão de Atributos: O sistema propõe novos atributos para a rodada seguinte com base no fechamento das implicações aceitas e das evidências recuperadas, expandindo gradualmente o conjunto de atributos ativos $M_\tau$.

O framework utiliza três SLMs diferentes (Gemma2:2B, Llama3.2:3B, Qwen2.5:1.5B) para avaliar as trocas entre custo-eficiência e desempenho no uso de modelos menores para decisões repetidas e condicionadas por evidências.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Loop de Verificação Baseado em FCA: Um mecanismo que testa estruturas objeto-atributo através de implicações e contraexemplos, garantindo que compromissos estruturais não sejam assumidos sem evidência.
2. Oráculo SLM Baseado em Recuperação: Uma interface de baixo custo que fundamenta julgamentos locais em evidências externas recuperáveis, em vez de depender exclusivamente da memória paramétrica.
3. Híbrido Simbólico-Subsimbólico: Um sistema onde a FCA controla a lógica de construção global (propondo consultas e gerenciando o contexto), enquanto o modelo de linguagem lida com decisões locais baseadas em evidências.

Resultados Experimentais
O framework foi avaliado em um conjunto de dados de doenças de ataxia raras derivadas do Orphadata e da Human Phenotype Ontology (HPO). Os experimentos rodaram por 20 rodadas começando com 10 atributos semente, com um conjunto secundário de experimentos utilizando 20 sementes.

• Métricas de Desempenho:
  • Scores de Relação (F1): Variaram de 0,29 a 0,52 nos testes de 10 sementes. O Llama3.2:3B alcançou o maior F1 de relação (0,52), enquanto o Gemma2:2B apresentou o maior recall (0,87), porém com menor precisão.
  • Scores de Implicação (F1): Variaram de 0,22 a 0,30 para os testes de 10 sementes. O Qwen2.5:1.5B alcançou o maior F1 de implicação (0,30).
  • Impacto do Tamanho da Semente: Aumentar o conjunto semente para 20 atributos melhorou os scores de F1 de implicação para todos os modelos (ex: o Gemma subiu de 0,22 para 0,36; o Qwen atingiu 0,41), embora não tenha resolvido totalmente o gargalo de avaliar os atributos gerados contra o padrão ouro (gold standard).
• Estudos de Ablação:
  • LLM-Only (Sem Recuperação): A remoção da recuperação resultou em contextos explorados menores que terminaram precocemente. Embora essas execuções tenham mostrado alto F1 de implicação (até 0,67), elas falharam em expandir efetivamente os conjuntos de objetos e atributos, destacando que a recuperação é necessária para o crescimento do contexto.
  • Configuração Fixa de Objeto-Atributo: Mesmo quando o conjunto de doenças e atributos era fixo (removendo a dificuldade de descoberta), o melhor F1 de relação alcançado foi de apenas 0,31. Isso indica que o gargalo principal não é apenas a descoberta de entidades, mas o julgamento preciso de incidências específicas de doença-fenótipo a partir das evidências textuais disponíveis.

Significância e Alegações
O artigo posiciona modestamente seu método não como um gerador de ontologia totalmente automático, mas como um procedimento de construção verificável.

• Inspecionabilidade: O sistema produz um rastro de implicações aceitas, implicações rejeitadas, contraexemplos e correções. Isso permite que especialistas do domínio auditem por que um compromisso estrutural foi assumido ou rejeitado, em vez de aceitar uma geração de "caixa preta".
• Construção Parcial: Os autores alegam que o resultado é um "conjunto de implicações exploradas" sobre um contexto acessível por evidências, não uma base canônica para o conjunto completo de atributos fenotípicos controlados.
• Limitações: O artigo reconhece que os resultados atuais são limitados pela escassez de textos de definição de doenças (que podem não declarar explicitamente todas as relações curadas) e pela dificuldade de recuperação de incidência ao nível de célula. O framework é apresentado como um "artefato de pré-curadoria auditável" que requer revisão especializada antes de se tornar uma ontologia clínica.

Em resumo, o trabalho demonstra que combinar a lógica estrutural rigorosa da FCA com SLMs baseados em RAG cria um loop escalável e inspecionável para a expansão do conhecimento biomédico, desde que as limitações de recuperação de evidências e a necessidade de supervisão especializada sejam reconhecidas.