Resumo Técnico: Correlação Não é Suficiente – Incorporando Metadados Humanos para Descoberta Causal Individual

1. O Problema: Incorporar Geometria como Correção

O artigo aborda um modo de falha crítico na implementação de Grandes Modelos Comportamentais (LBMs) para descoberta causal individual. Diferente de sistemas de recuperação padrão, onde um modelo de linguagem downstream pode filtrar resultados de embeddings ruidosos, um LBM constrói um grafo causal da vida de um usuário, onde a proximidade do embedding serve como evidência direta para hipotetizar arestas. Se o espaço de embedding posicionar eventos não relacionados (ex: "cortisol 28 µg/dL" e "volatilidade do mercado de ações") próximos devido à sobreposição lexical superficial, o LBM inferirá erroneamente ligações causais, corrompendo o modelo de vida do usuário.

Os autores demonstram que encoders biomédicos padrão (BioBERT, PubMedBERT, BioM-ELECTRA) falham neste requisito específico. Apesar da alta similaridade dentro do domínio, esses modelos exibem anisotropia, colapsando os embeddings em um cone estreito onde pares cross-domain não relacionados alcançam similaridades de cosseno de 0,76–0,92. Consequentemente, a acurácia de discriminação cross-domain é exatamente 0%, tornando os modelos pré-treinados inutilizáveis para raciocínio causal baseado em grafos.

2. Metodologia

Os autores propõem uma estratégia de ajuste fino contrastivo de duas passagens para corrigir a geometria do embedding, seguida por um pipeline de inferência otimizado para hardware.

2.1 Ajuste Fino de Duas Passagens

• Passagem 1 (Treinamento Contrastivo): Os modelos são ajustados finamente em 72.034 tripletos (âncora, positivo, hard-negativo) extraídos de oito conjuntos de dados públicos (incluindo BIOSSES, MedNLI e periódicos psicológicos). O treinamento utiliza Matryoshka Loss envolvendo Multiple Negatives Ranking Loss (MNRL). Esta abordagem treina dimensões aninhadas (768, 512, 256, 128, 64) simultaneamente, permitindo que um único modelo sirva diferentes tamanhos de vetores para armazenamento, travessia e inferência em dispositivo sem necessidade de novo treinamento.
• Passagem 2 (BODHI): Para abordar as limitações de negativos difíceis baseados em heurísticas, os autores introduzem o BODHI (Biomedical Ontology-Graph Hard-negative Inference). Esta passagem minera negativos difíceis de um grafo de conhecimento biomédico curado. Pares de conceitos que existem no grafo, mas carecem de uma aresta explícita (ou um caminho de comprimento ≤2), são tratados como negativos difíceis. Isso ensina ao modelo que a ausência de uma conexão de especialista do domínio é um sinal forte de não-causalidade, mesmo que as palavras superficiais se sobreponham.

2.2 Otimização de Hardware e Inferência

O estudo avalia o desempenho em duas plataformas Intel:

• Primária: Intel Xeon 6737P (Granite Rapids) com AMX (Advanced Matrix Extensions) nativo para multiplicação de matrizes BF16.
• Referência: AWS c6i.8xlarge (Ice Lake) sem AMX, dependendo de AVX-512 VNNI para INT8.

Os autores utilizam OpenVINO para inferência, exportando modelos com pesos FP16 e um runtime BF16. Eles desafiam o conselho padrão de implantação ao demonstrar que o FP16 supera o INT8 em silício AMX em tamanhos típicos de lote de serviço. Embora o INT8 ofereça ganhos teóricos de throughput, o overhead de desquantização necessário para blocos de atenção e feed-forward em unidades escalares anula esses benefícios em lotes <512. Além disso, a quantização INT8 em hardware não-AMX (Ice Lake) destrói o sinal de discriminação criado pelo ajuste fino, reduzindo significativamente a razão de geometria.

3. Resultados Principais

3.1 Qualidade do Embedding

• Razão de Geometria: A razão entre a distância inter-domínio e intra-domínio melhorou de 1,05× (pré-treinado) para 1,63× (Passagem 1) e finalmente 2,30× (BODHI). Uma razão >1,5 é identificada como o limiar para raciocínio gráfico confiável.
• Gap de Discriminação: O gap entre pares relacionados e não relacionados aumentou de +0,013 (PubMedBERT pré-treinado) para +0,392 (BODHI).
• Correlação BIOSSES: O PubMedBERT da Passagem 1 alcançou uma correlação de postos de 0,828 com pontuações de clínicos, superando o limiar de 0,80 para concordância forte.
• Acurácia Cross-Domain: Modelos pré-treinados pontuaram 0% em discriminação cross-domain. O BODHI alcançou um F1 score de 93,0% em um limiar de cosseno de 0,40, comparado a um máximo de 72,7% para modelos pré-treinados.
• Arquitetura do Modelo: BioBERT e PubMedBERT (baseados em BERT) responderam bem ao ajuste fino. O BioM-ELECTRA, apesar da alta similaridade bruta, falhou em se remodelar em um embedder utilizável (o F1 permaneceu baixo), indicando que objetivos de pré-treinamento de extração de spans não se traduzem para tarefas de embedding causal.

3.2 Desempenho e Latência

• Redução de Latência: No servidor AMX, o OpenVINO reduziu a latência de consulta única de 1.367 ms (PyTorch) para 10 ms (um aumento de 133×) mantendo a fidelidade de cosseno >0,994.
• Throughput: O modelo ajustado atingiu 555 sentenças por segundo com lote 512.
• AMX vs. Não-AMX: O servidor AMX foi 13–27× mais rápido que a referência Ice Lake. Crucialmente, enquanto o Ice Lake poderia usar INT8 para velocidade, essa quantização achatou o gap de discriminação, retendo apenas 17–50% do sinal. No AMX, o FP16/BF16 manteve a fidelidade total do sinal com velocidade superior.

4. Significância e Alegações

O artigo afirma que, para Grandes Modelos Comportamentais, a geometria do embedding é a correção, não apenas um botão de ajuste. Os autores sustentam que:

1. Descoberta Causal Requer Separação: A recuperação padrão tolera altos níveis de ruído; o raciocínio gráfico não. O método BODHI proposto separa com sucesso eventos cross-domain causalmente não relacionados, permitindo que o LBM hipotetize arestas sem inventar conexões.
2. Aprendizado Guiado por Ontologia: Treinar em "arestas ausentes" em um grafo de conhecimento é uma estratégia de alto impacto para melhorar a discriminação de embeddings, generalizando além do domínio biomédico para qualquer ontologia estruturada.
3. Implantação Específica de Hardware: O estudo fornece um achado contraintuitivo para hardware Intel AMX: FP16 é superior ao INT8 para embedders da classe BERT em tamanhos de lote de produção devido aos overheads de desquantização e à preservação do gap de discriminação.
4. Reprodutibilidade: Os autores liberam a suíte completa de benchmarks (B1–B6), o corpus de 72k pares, o gerador BODHI, scripts de treinamento e pesos otimizados, visando corrigir uma falha de campo na descoberta causal cross-domain em vez de criar um fosso proprietário.

O artigo conclui que, embora passar da correlação para a causalidade em populações exija testes randomizados, para um LBM individual, isso é majoritariamente uma questão de geometria de embedding. Ao corrigir a geometria, a travessia do grafo pode funcionar corretamente; sem ela, o raciocínio downstream é fundamentalmente falho.