Mapping social determinants of health in NIH research funding with large language models

Cada día, la salud de una persona es moldeada por mucho más que solo la medicina que recibe o los médicos que visita. Está influenciada por el aire que respira, la seguridad de su vecindario, su capacidad para costear alimentos y si puede acceder a una educación de calidad. Los científicos llaman a estos factores los determinantes sociales de la salud. Son las fuerzas invisibles que impulsan por qué algunas comunidades prosperan mientras otras luchan, explicando la gran mayoría de los resultados de salud. Para solucionar estos problemas de raíz, los gobiernos necesitan saber hacia dónde va su dinero de investigación. En los Estados Unidos, los Institutos Nacionales de Salud actúan como el mayor financiador público de investigación en salud en el mundo, dirigiendo miles de millones de dólares hacia proyectos específicos. Si este financiamiento ignora consistentemente ciertos problemas sociales, la evidencia científica necesaria para resolver esos problemas nunca se construye.

Durante años, los investigadores que intentaban rastrear cuánto dinero gasta el gobierno en estos problemas sociales se han enfrentado a un obstáculo difícil. Han tenido que leer miles de solicitudes de subvenciones, que son documentos largos y complejos escritos por científicos. Para encontrar los proyectos relevantes, anteriormente dependían de búsquedas computacionales simples que buscaban palabras clave específicas. Si una propuesta de subvención utilizaba las palabras exactas, se contaba. Si describía el mismo problema usando un lenguaje diferente o tejía la idea dentro de una historia más amplia, la computadora lo perdía. Este método era demasiado rígido, como intentar encontrar una aguja en un pajar buscando solo agujas que sean exactamente del mismo color. Como resultado, la verdadera imagen de hacia dónde fluye el dinero de la investigación permanecía borrosa, y los vacíos de financiamiento en temas sociales críticos pasaban desapercibidos.

Un equipo de investigadores decidió recientemente probar un enfoque diferente, utilizando una nueva generación de inteligencia artificial conocida como modelos de lenguaje de gran tamaño. Estos son sistemas computacionales entrenados en cantidades masivas de texto que pueden entender el contexto y el matiz, de forma muy similar a un lector humano. En lugar de solo cazar palabras clave, estos modelos pueden leer una propuesta de subvención y entender la intención subyacente, incluso cuando el autor no utiliza terminología estándar. Los investigadores probaron once versiones diferentes de estos modelos para ver cuál podía identificar mejor las menciones de determinantes sociales en las solicitudes de subvención. Querían saber si estos modelos inteligentes podían hacer un mejor trabajo que los antiguos métodos de palabras clave, y si podían manejar la realidad desordenada de cómo los científicos realmente escriben sobre problemas sociales.

El estudio se centró en las secciones de "Relevancia para la Salud Pública" de las solicitudes de subvención del año fiscal 2023, un conjunto de datos de más de 2,000 solicitudes de subvenciones. Los investigadores primero enseñaron a un modelo a reconocer cinco categorías específicas de determinantes sociales: estabilidad económica, acceso a la educación, acceso a la atención médica, condiciones del vecindario y contexto social comunitario. Hicieron esto haciendo que expertos humanos etiquetaran cuidadosamente una parte del texto, creando un conjunto de respuestas correctas para que el modelo aprendiera de ellas. Luego, probaron los modelos para ver qué tan bien podían encontrar estas categorías en el texto restante. El desafío era significativo porque la mayoría de las subvenciones no mencionan estos factores sociales en absoluto, y cuando los mencionan, las menciones suelen ser raras y están enterradas profundamente en el texto.

Los resultados revelaron una verdad sorprendente sobre cómo funcionan estos sistemas de inteligencia artificial. Los investigadores descubrieron que los modelos más pequeños, ajustados finamente específicamente en la tarea downstream, superaron en realidad a los modelos masivos y de propósito general que dominan los titulares. ModernBERT-base en particular logró el mayor rendimiento cuando fue entrenado directamente en la tarea de clasificación objetivo del estudio. Identificó correctamente los factores sociales en el texto con más frecuencia que los modelos más grandes, que eran miles de veces más grandes y dependían de su conocimiento general para adivinar las respuestas. Los modelos más pequeños también eran más estables y consistentes, mientras que los modelos más grandes a veces tenían dificultades para aprender las reglas específicas de la tarea.

Sin embargo, el estudio también descubrió una lección crítica sobre cómo usar estas herramientas. Los investigadores descubrieron que simplemente entrenar al modelo no era suficiente; tenían que ajustar cómo el modelo tomaba sus decisiones finales. Debido a que los factores sociales aparecían tan raramente en el texto, el modelo tendía a ignorarlos, asumiendo que no estaban allí. Al ajustar la sensibilidad del modelo para cada categoría específica, los investigadores pudieron recuperar una enorme cantidad de información perdida. Este ajuste convirtió un sistema que apenas funcionaba en uno que operaba con alto rendimiento. Sin este paso, los modelos más avanzados habrían fallado en capturar los mismos datos para los que fueron diseñados.

Cuando los investigadores analizaron de cerca los diferentes tipos de factores sociales, encontraron que los modelos se comportaban de manera distinta dependiendo de la categoría. Para temas claros y bien definidos como la estabilidad económica o las condiciones del vecindario, los modelos más pequeños y especializados eran excelentes. Podían detectar estos factores con alta precisión. Pero para temas más vagos y complejos, como el contexto social y comunitario, los modelos más grandes y generales mostraban una ventaja. Estos temas suelen describirse de maneras sutiles que requieren una comprensión amplia de las relaciones humanas y la sociedad, una fortaleza que poseían los modelos masivos. Esto sugiere que, aunque los modelos más pequeños son generalmente mejores y más eficientes, los modelos más grandes todavía tienen una capacidad única para comprender los conceptos sociales más abstractos.

Las implicaciones de este trabajo son significativas para cómo se financia y se entiende la ciencia. Los investigadores demostraron que es posible construir un sistema que pueda escanear décadas de datos de subvenciones para ver exactamente qué problemas sociales se están estudiando y cuáles están siendo ignorados. Demostraron que esto se puede hacer con modelos relativamente pequeños y eficientes que no requieren hardware masivo y costoso o software propietario y secreto. Esto hace posible que los funcionarios de salud pública y los investigadores rastreen las tendencias de financiamiento en tiempo real, asegurando que el dinero se dirija hacia las áreas donde más se necesita. Al usar estas herramientas, las agencias pueden finalmente ver el panorama completo de sus inversiones en investigación, identificando puntos ciegos donde los determinantes sociales están subfinanciados y guiando las decisiones futuras para crear un sistema de salud más equitativo.

El estudio también destacó una brecha persistente en el panorama actual de la investigación. Incluso con las mejores herramientas disponibles, el análisis mostró que ciertas áreas, particularmente el acceso y la calidad de la educación, siguen estando significativamente subrepresentadas en las subvenciones que reciben financiamiento. Esto no es solo un error de datos; es un reflejo de dónde la comunidad científica ha decidido enfocar su atención. Cuando un factor social es pasado por alto consistentemente en las propuestas de investigación, la base de evidencia necesaria para resolver ese problema permanece delgada. La capacidad de mapear estos avances con precisión significa que los responsables de la toma de decisiones ahora pueden ver estos vacíos claramente y tomar decisiones informadas para equilibrar la cartera de investigación, asegurando que los impulsores de las disparidades de salud se aborden con el mismo rigor que las enfermedades que causan.

En última instancia, esta investigación proporciona un nuevo lente a través del cual ver la maquinaria del descubrimiento científico. Se mueve más allá de los simples recuentos de palabras para entender la verdadera intención de la investigación que se propone. Al combinar la precisión de los modelos especializados con la amplia comprensión de los grandes, y al ajustar cuidadosamente cómo estos sistemas toman decisiones, los científicos han creado una poderosa herramienta para la transparencia. Esta herramienta no solo cuenta subvenciones; revela las prioridades de la investigación de salud de una nación, ofreciendo un camino claro hacia un futuro donde las decisiones de financiamiento sean impulsadas por una comprensión completa y precisa de las fuerzas sociales que dan forma a nuestra salud.