Mapping social determinants of health in NIH research funding with large language models

Todos os dias, a saúde de uma pessoa é moldada por muito mais do que apenas o medicamento que ela recebe ou os médicos que a visitam. Ela é influenciada pelo ar que ela respira, pela segurança de seu bairro, sua capacidade de pagar pela alimentação e se ela pode acessar uma educação de qualidade. Cientistas chamam esses fatores de determinantes sociais da saúde. Eles são as forças invisíveis que impulsionam o porquê de algumas comunidades prosperarem enquanto outras lutam, respondendo pela vasta maioria dos resultados de saúde. Para corrigir esses problemas profundos, os governos precisam saber para onde está indo o dinheiro de suas pesquisas. Nos Estadosos Unidos, os Institutos Nacionais de Saúde (NIH) atuam como o maior financiador público de pesquisa em saúde do mundo, direcionando bilhões de dólares para projetos específicos. Se esse financiamento ignora consistentemente certos problemas sociais, a evidência científica necessária para resolver esses problemas nunca é construída.

Durante anos, pesquisadores que tentavam rastrear quanto dinheiro o governo gasta nesses problemas sociais enfrentaram um obstáculo difícil. Eles tiveram que ler milhares de solicitações de subsídios (grants), que são documentos longos e complexos escritos por cientistas. Para encontrar os projetos relevantes, eles anteriormente dependiam de buscas computacionais simples que procuravam por palavras-chave específicas. Se uma proposta de subsídio usasse as palavras exatas, ela era contada. Se descrevesse o mesmo problema usando uma linguagem diferente ou tecesse a ideia em uma história mais ampla, o computador a perdia. Esse método era muito rígido, como tentar encontrar uma agulha no palheiro procurando apenas por agulhas que fossem exatamente da mesma cor. Como resultado, o verdadeiro panorama de para onde o dinheiro da pesquisa estava fluindo permanecia embaçado, e as lacunas de financiamento para questões sociais críticas passavam despercebidas.

Uma equipe de pesquisadores decidiu recentemente tentar uma abordagem diferente, usando uma nova geração de inteligência artificial conhecida como modelos de linguagem de grande escala (LLMs). Estes são sistemas de computador treinados em quantidades massivas de texto que podem entender contexto e nuances, de forma muito semelhante a um leitor humano. Em vez de apenas caçar palavras-chave, esses modelos podem ler uma proposta de subsídio e entender a intenção subjacente, mesmo quando o autor não utiliza terminologia padrão. Os pesquisadores testaram onze versões diferentes desses modelos para ver qual poderia identificar melhor as menções aos determinantes sociais nas solicitações de subsídios. Eles queriam saber se esses modelos inteligentes poderiam fazer um trabalho melhor do que os antigos métodos de palavras-chave e se poderiam lidar com a realidade desordenada de como os cientistas realmente escrevem sobre problemas sociais.

O estudo focou nas seções de "Relevância para a Saúde Pública" em um conjunto de dados de mais de 2.000 solicitações de subsídios do ano fiscal de 2023. Os pesquisadores primeiro ensinaram um modelo a reconhecer cinco categorias específicas de determinantes sociais: estabilidade econômica, acesso à educação, acesso aos cuidados de saúde, condições do bairro e contexto social comunitário. Eles fizeram isso fazendo com que especialistas humanos rotulassem cuidadosamente uma parte do texto, criando um conjunto de respostas corretas para o modelo aprender. Em seguida, testaram os modelos para ver quão bem eles encontravam essas categorias no restante do texto. O desafio era significativo porque a maioria dos subsídios não menciona esses fatores sociais ou, quando o fazem, as menções são frequentemente raras e enterradas profundamente no texto.

Os resultados revelaram uma verdade surpreendente sobre como esses sistemas de inteligência artificial funcionam. Os pesquisadores descobriram que modelos menores, ajustados especificamente para a tarefa downstream, superaram os modelos massivos de propósito geral. Em particular, o ModernBERT-base alcançou o maior desempenho quando treinado diretamente na tarefa de classificação alvo do estudo. Ele identificou corretamente os fatores sociais no texto com mais frequência do que os maiores modelos, que eram milhares de vezes maiores e dependiam de seu conhecimento geral para adivinhar as respostas. Os modelos menores também eram mais estáveis e consistentes, enquanto os modelos maiores às vezes tinham dificuldade em aprender as regras específicas da tarefa.

No entanto, o estudo também revelou uma lição crítica sobre como usar essas ferramentas. Os pesquisadores descobriram que simplesmente treinar o modelo não era suficiente; eles tiveram que ajustar como o modelo tomava suas decisões finais. Como os fatores sociais apareciam tão raramente no texto, o modelo tendia a ignorá-los, assumindo que não estavam lá. Ao ajustar a sensibilidade do modelo para cada categoria específica, os pesquisadores conseguiram recuperar uma quantidade massiva de informações perdidas. Esse ajuste transformou um sistema que mal funcionava em um que operava com alto desempenho. Sem essa etapa, até os modelos mais avançados teriam falhado em capturar os próprios dados que foram projetados para encontrar.

Quando os pesquisadores analisaram de perto os diferentes tipos de fatores sociais, descobriram que os modelos se comportavam de maneira distinta dependendo da categoria. Para tópicos claros e bem definidos, como estabilidade econômica ou condições do bairro, os modelos menores e especializados foram excelentes. Eles conseguiam detectar esses fatores com alta precisão. Mas para tópicos mais vagos e complexos, como o contexto social e comunitário, os modelos maiores e gerais mostraram vantagem. Esses tópicos são frequentemente descritos de formas sutis que exigem uma compreensão ampla das relações humanas e da sociedade, uma força que os modelos massivos possuíam. Isso sugere que, embora os modelos menores sejam geralmente melhores e mais eficientes, os maiores ainda possuem uma capacidade única de compreender os conceitos sociais mais abstratos.

As implicações deste trabalho são significativas para a forma como a ciência é financiada e compreendida. Os pesquisadores demonstraram que é possível construir um sistema capaz de escanear décadas de dados de subsídios para ver exatamente quais problemas sociais estão sendo estudados e quais estão sendo ignorados. Eles mostraram que isso pode ser feito com modelos relativamente pequenos e eficientes, que não requerem hardware massivo e caro ou software proprietário e secreto. Isso torna possível para autoridades de saúde pública e pesquisadores rastrearem tendências de financiamento em tempo real, garantindo que o dinheiro seja direcionado para as áreas onde é mais necessário. Ao usar essas ferramentas, as agências podem finalmente ver o panorama completo de seus investimentos em pesquisa, identificando pontos cegos onde os determinantes sociais estão subfinanciados e orientando decisões futuras para criar um sistema de saúde mais equitativo.

O estudo também destacou uma lacuna persistente no cenário atual de pesquisa. Mesmo com as melhores ferramentas disponíveis, a análise mostrou que certas áreas, particularmente o acesso e a qualidade da educação, permanecem significativamente sub-representadas nos subsídios que recebem financiamento. Isso não é apenas um erro de dados; é um reflexo de onde a comunidade científica escolheu focar sua atenção. Quando um fator social é consistentemente negligenciado nas propostas de pesquisa, a base de evidências necessária para resolver esse problema permanece tênue. A capacidade de mapear essas tendências com precisão significa que os formuladores de políticas podem agora ver essas lacunas claramente e fazer escolhas informadas para equilibrar o portfólio de pesquisa, garantindo que os motores das disparidades de saúde sejam abordados com o mesmo rigor que as doenças que eles causam.

Em última análise, esta pesquisa fornece uma nova lente através da qual visualizar a maquinaria da descoberta científica. Ela vai além das simples contagens de palavras para compreender a verdadeira intenção da pesquisa que está sendo proposta. Ao combinar a precisão de modelos especializados com a compreensão ampla dos modelos grandes, e ao ajustar cuidadosamente como esses sistemas tomam decisões, os cientistas criaram uma ferramenta poderosa para a transparência. Esta ferramenta não apenas conta subsídios; ela revela as prioridades da pesquisa de saúde de uma nação, oferecendo um caminho claro para um futuro onde as decisões de financiamento sejam impulsionadas por uma compreensão completa e precisa das forças sociais que moldam nossa saúde.