ConfHit: Conformal Generative Design with Oracle Free Guarantees

O artigo apresenta o ConfHit, uma estrutura de design generativo livre de distribuições que fornece garantias estatísticas de validade para a descoberta de fármacos sem depender de oráculos experimentais, permitindo certificar que um lote gerado contém pelo menos uma molécula promissora e refinar esse conjunto mantendo a confiança estatística.

O essencial

Imagine que você é um chef de cozinha tentando criar um novo prato incrível para um restaurante famoso. Você tem uma inteligência artificial (IA) que gera milhares de receitas novas todos os dias. O problema? A IA é ótima em inventar combinações, mas muitas vezes cria pratos que são impossíveis de comer ou que não têm gosto nenhum.

O grande desafio da ciência (especialmente na descoberta de novos remédios) é: Como saber, antes de gastar milhões de reais cozinhando e testando em laboratório, se pelo menos um desses milhares de pratos gerados pela IA vai ser um sucesso?

Normalmente, para ter certeza, você teria que testar todos os pratos. Mas isso é caro e demorado demais.

É aqui que entra o CONFHIT, o "garçom inteligente" descrito neste artigo.

A Metáfora do "Garçom Inteligente" (CONFHIT)

O CONFHIT é um novo método que ajuda cientistas a confiar na IA sem precisar testar tudo. Pense nele como um sistema de garantia de qualidade que funciona em três etapas mágicas:

1. O Problema do "Gosto Diferente" (Mudança de Distribuição)

Imagine que a IA foi treinada com receitas de pratos clássicos (dados antigos), mas agora ela está tentando inventar pratos futuristas (novos dados). O problema é que os ingredientes e técnicas mudaram. Se você usar as regras antigas para julgar os novos pratos, vai errar.

• A Solução do CONFHIT: Ele usa uma "balança mágica" (chamada de razão de densidade). Ele ajusta o peso de cada receita antiga para que ela faça justiça aos novos pratos. É como se ele dissesse: "Ok, essa receita antiga é um pouco diferente da nova, então vamos dar um peso maior a ela para comparar corretamente". Isso permite que ele faça previsões justas sem precisar de um "guru" (oráculo) que saiba o gosto final de todos os pratos.

2. A Certificação: "Está na Garrafa?"

Antes de servir qualquer coisa, o CONFHIT faz uma pergunta: "Se eu pegar este grupo de 50 receitas geradas pela IA, posso garantir com 95% de certeza que pelo menos uma delas vai ser um sucesso?"

• Como funciona: Ele não olha para cada receita individualmente. Ele olha para o grupo todo e usa estatística avançada para dizer: "Sim, há um 'hit' (sucesso) aqui dentro". Se a resposta for "não", ele avisa: "Ei, não tente testar esse lote, é perda de tempo". Isso economiza dinheiro.

3. O Design: "O Menu Curto"

Se o CONFHIT diz que o grupo de 50 receitas tem um sucesso, você não quer testar os 50. Você quer saber quais são os melhores.

• A Mágica: O CONFHIT consegue reduzir esse grupo de 50 para apenas 3 ou 4 receitas, mantendo a mesma garantia de que "pelo menos uma delas vai funcionar". É como pegar um menu gigante e, com base em estatística sólida, entregar ao chef apenas os 3 pratos que têm maior chance de serem o vencedor, sem perder a segurança de que o vencedor está ali.

Por que isso é revolucionário?

Antes do CONFHIT, os métodos existentes precisavam de um "oráculo" (alguém que soubesse a resposta certa imediatamente) para validar se uma receita era boa. Na vida real (descoberta de remédios), ninguém sabe a resposta até fazer o teste químico caro.

O CONFHIT é especial porque:

1. Não precisa do "Oráculo": Ele não precisa saber a resposta certa antes de começar. Ele usa dados históricos para fazer a previsão.
2. Funciona com qualquer IA: Não importa se a IA é um modelo antigo ou uma nova tecnologia de ponta; o CONFHIT funciona com todas.
3. Economiza Recursos: Ele evita que cientistas gaste tempo e dinheiro testando "lixo" (receitas ruins) e foca apenas nos grupos que têm alta chance de sucesso.

Resumo em uma frase

O CONFHIT é como um filtro de segurança superinteligente que diz aos cientistas: "Não teste os 1.000 remédios que a IA criou. Teste apenas estes 5 aqui, porque eu garanto, com base em estatística sólida, que pelo menos um deles vai funcionar."

Isso transforma a descoberta de novos medicamentos de um jogo de "chute e sorte" em um processo confiável, rápido e econômico.

Resumo técnico

Resumo Técnico: CONFHIT

1. O Problema

O sucesso dos modelos generativos profundos na descoberta científica (como o design de fármacos) depende não apenas da capacidade de gerar novas moléculas candidatas, mas também de garantias confiáveis de que essas candidatas satisfazem propriedades desejadas (ex: atividade biológica).

As abordagens existentes de Conformal Prediction (CP) oferecem garantias estatísticas, mas enfrentam três barreiras críticas ao serem aplicadas à descoberta de medicamentos:

1. Restrições de Orçamento: É impossível gerar e testar um número infinito de amostras até encontrar um "hit" (molécula ativa).
2. Falta de Acesso ao Oráculo: Métodos anteriores exigem um "oráculo" que avalie as amostras geradas em tempo real (ex: síntese e teste experimental). Em cenários de recursos limitados, isso é inviável.
3. Mudança de Distribuição (Distribution Shift): As moléculas geradas pelo modelo frequentemente seguem uma distribuição diferente dos dados históricos de calibração, violando a suposição de trocabilidade (exchangeability) necessária para o CP padrão.

Questão Central: Dado um modelo generativo e um orçamento limitado, como construir lotes de amostras que garantam, com alto nível de confiança estatística, conter pelo menos uma molécula válida ("hit"), sem precisar testar experimentalmente cada uma delas antes da validação final?

2. Metodologia: CONFHIT

O CONFHIT é um framework agnóstico ao modelo que resolve os problemas acima através de três pilares principais:

A. Formulação do Problema
O trabalho divide a tarefa em duas questões interligadas:

1. Certificação: Dado um lote de $N$ amostras geradas, podemos garantir (com nível de confiança $1-\alpha$) que pelo menos uma é um "hit"?
2. Design (Refinamento): Podemos reduzir esse lote para um conjunto compacto (menor $N$) mantendo a mesma garantia estatística?

B. Eliminação do Oráculo e Correção de Viés

• Sem Oráculo: Em vez de avaliar as amostras geradas, o CONFHIT utiliza dados históricos rotulados (calibração) e a estrutura de trocabilidade ponderada (weighted exchangeability).
• Correção de Covariância: O método estima a razão de densidade ($w(x) = dQ/dP$) entre a distribuição dos dados históricos ($P$) e a dos dados gerados ($Q$). Isso permite ajustar estatisticamente a diferença de distribuição sem precisar de um oráculo experimental.

C. P-Value Conformal Ponderado e Múltiplo

• O método constrói um p-value conformal ponderado para testar a hipótese nula global de que nenhuma das amostras no lote é um hit.
• Utiliza uma função de pontuação de conformidade ($V$) baseada em um modelo preditor de propriedades (ex: um classificador treinado para prever atividade).
• A pontuação considera a permutação dos dados de calibração (inativos) e os dados de teste, ponderada pela razão de densidade estimada.

D. Teste Aninhado (Nested Testing)
Para o problema de Design, o CONFHIT utiliza um procedimento de teste aninhado:

1. Gera uma sequência de subconjuntos aninhados do lote original (do menor ao maior).
2. Calcula p-values para cada subconjunto.
3. Para o conjunto de p-values, aplica uma regra de parada: seleciona o menor conjunto cujo p-value seja menor que $\alpha$.
4. Teorema Chave: O método prova que, se os p-values forem válidos e monótonos, parar assim que o p-value cair abaixo de $\alpha$ garante que o erro de declarar um conjunto vazio (sem hits) é controlado por $\alpha$, mesmo sem correção para múltiplos testes.

3. Contribuições Principais

1. Framework Agnóstico com Garantias Finitas: O primeiro framework a fornecer garantias de validade para modelos generativos condicionais em cenários de recursos restritos, sem assumir conhecimento do modelo gerador.
2. Eliminação do Oráculo Experimental: Remove a necessidade de validação experimental iterativa durante o processo de geração, utilizando apenas dados históricos e estimativas de densidade.
3. Novo Estatístico de Teste: Introduz p-values conformais ponderados para múltiplas amostras de teste, válidos sob mudança de distribuição (covariate shift).
4. Método de Design Compacto: Propõe um procedimento de teste aninhado que produz conjuntos de candidatos compactos (curtos) mantendo o controle de erro estrito.
5. Validação Empírica Robusta: Demonstra a eficácia em duas tarefas padrão: Otimização de Moléculas Restrita (CMO) e Descoberta de Fármacos Baseada em Estrutura (SBDD).

4. Resultados Experimentais

Os experimentos foram realizados em duas tarefas principais usando cinco modelos generativos diferentes (VAEs, Transformers Autoregressivos, Modelos de Difusão e Redes Bayesianas):

• Tarefa 1: Otimização de Moléculas Restrita (CMO)

  • Objetivo: Gerar moléculas similares a uma semente, mas com propriedades melhoradas (ex: DRD2, QED).
  • Resultados: O CONFHIT manteve taxas de erro estritamente abaixo do nível alvo ($\alpha$) em todos os cenários. Comparado a correções de Bonferroni (que geram conjuntos vazios em ~100% dos casos sob restrições severas), o CONFHIT conseguiu conjuntos não vazios e muito menores (redução de 50-70% no tamanho do conjunto).

• Tarefa 2: Descoberta de Fármacos Baseada em Estrutura (SBDD)

  • Objetivo: Gerar ligantes que se liguem a um bolso proteico específico.
  • Resultados: O método demonstrou controle de erro rigoroso (cobertura válida) enquanto produzia listas curtas de candidatos (ex: 2-5 moléculas em vez de 15-20), aumentando a eficiência para validação experimental.

• Robustez:

  • O método manteve a validade mesmo com preditores de propriedades de baixa qualidade (o que afeta o poder, mas não o controle de erro).
  • Ajustes de mudança de distribuição foram cruciais; sem eles, as garantias de cobertura foram violadas.
  • Diagnósticos de "balanceamento" e análise de sensibilidade confirmaram que a estimativa da razão de densidade é robusta.

5. Significado e Impacto

O CONFHIT representa um avanço significativo na interseção entre Aprendizado de Máquina Generativo e Inferência Estatística Rigorosa para ciência.

• Viabilidade Prática: Permite que cientistas de dados e químicos utilizem modelos generativos avançados com a confiança de que os recursos experimentais (síntese e testes) não serão desperdiçados em lotes de moléculas que provavelmente falharão.
• Mudança de Paradigma: Transita de uma abordagem puramente heurística ("gerar e ver") para uma abordagem probabilística garantida ("gerar com garantia de sucesso").
• Aplicabilidade: Embora focado em moléculas pequenas, o framework é agnóstico ao modelo e pode ser estendido para outras áreas de descoberta científica (proteínas, materiais) onde a validação experimental é cara e a mudança de distribuição é comum.

Em suma, o CONFHIT estabelece um novo padrão para a confiabilidade em modelos generativos científicos, permitindo que a IA acelere a descoberta sem sacrificar a rigorosidade estatística.