Resumen Técnico: THEBIOCOLLECTION

Planteamiento del Problema

El desarrollo de Modelos de Lenguaje de Gran Escala para la Biología (BioLM) ha creado una demanda crítica de corpora de entrenamiento que permitan a los modelos comprender genuinamente los sistemas biológicos. Si bien el campo posee recursos abundantes —incluyendo bases de datos moleculares, repositorios de proteínas, anotaciones genómicas, atlas de célula única y bases de datos de vías metabólicas—, estos recursos permanecen dispersos en formatos heterogéneos (tablas, archivos de secuencias, aristas de grafos, esquemas aislados). En consecuencia, carecen de un corpus cohesivo y unificado adecuado para el preentrenamiento de modelos de lenguaje. Los esfuerzos existentes no han consolidado estos recursos dispares en un conjunto de datos de gran escala para preentrenamiento que enseñe a los BioLM un amplio espectro de conocimiento biológico que abarque moléculas, proteínas, genomas, células y sus relaciones transdominios. Además, los corpora actuales suelen carecer de cobertura para capacidades específicas como el diseño de unión de proteínas y la localización de características genómicas.

Metodología

Los autores presentan THEBIOCOLLECTION, un corpus de escala de preentrenamiento de 52.6 mil millones de tokens diseñado para unificar estos recursos biológicos heterogéneos en un formato listo para el entrenamiento. El pipeline de construcción involucra cuatro etapas primarias:

1. Recolección de Datos: El corpus agrega recursos públicos y comercialmente utilizables a través de cinco dominios: moléculas pequeñas, proteínas, secuencias genómicas, células/vías metabólicas y relaciones transdominios. Las fuentes incluyen bases de datos principales (p. ej., PubChem, UniProt, GENCODE, AlphaFoldDB, Human Protein Atlas) y literatura científica amplia (PubMed, bioRxiv, medRxiv).
2. Refinamiento del Conjunto de Datos: Los registros de bases de datos estructuradas se transforman en descripciones de lenguaje natural autónomas. Los atributos clave (propiedades fisicoquímicas, información estructural, anotaciones funcionales) se consolidan en registros textuales únicos. Los identificadores simbólicos (SMILES, secuencias de proteínas/ADN/ARN) se envuelven en tokens de etiquetado dedicados (p. ej., <smiles>...</smiles>) para distinguirlos del texto circundante. Se utilizan grafos de conocimiento transdominios (p. ej., Hetionet, DRKG) para vincular entidades, creando cadenas mecanísticas donde un solo registro conecta una proteína con sus compuestos de unión, vías y respuestas celulares.
3. Enriquecimiento de Características Computadas por Herramientas: Para exponer señales que existen en las herramientas computacionales pero no en el texto libre, los autores ejecutan herramientas bioinformáticas estándar sobre los registros de origen y verbalizan sus salidas.
   • Moléculas Pequeñas: Se computan descriptores de RDKit (sistemas de anillos, complejidad de esqueleto, estereoquímica, QED, etc.) y se añaden a las narrativas.
   • Proteínas: Las secuencias de UniProt se vinculan con estructuras de AlphaFold y PDB, enriqueciendo los registros con datos de estructura secundaria, topología de plegamiento y exposición al solvente derivados vía Biopython y DSSP.
   • Secuencias Genómicas: El ADN regulatorio y los transcritos de ARN se anotan con características como contenido de GC, estadísticas de CpG y perfiles de motivos.
   • Células: Los registros de célula única se convierten a lenguaje que captura expresión, respuesta a perturbaciones, contexto espacial y morfología.
4. Construcción de Instrucciones: El corpus incluye tanto conjuntos de datos de instrucción importados (p. ej., Mol-Instructions, ProteinLMBench) como tareas de instrucción derivadas de la fuente generadas específicamente para abordar las brechas en los corpora existentes. Estas nuevas tareas incluyen:
   • Unión de Proteínas: Generación de secuencias de unión, recuperación de residuos de sitios de unión enmascarados y resumen de patrones de contacto basados en interfaces estructurales.
     તેમને Localización de Características de ADN/ARN: Tareas de recuperación de segmentos exactos para elementos reguladores, sitios de corte y empalme (splice sites) y motivos de ARN, asegurando que las respuestas sean programáticamente verificables.

Para evaluar el corpus, los autores introducen THEBIOCOLLECTION-EVAL, una suite de evaluación emparejada que cubre reconocimiento, generación y predicción a través de entornos moleculares, proteicos, genómicos, celulares y transdominios.

Configuración Experimental

Los autores entrenaron la arquitectura Gravity-16B-A3B (un modelo de 16 mil millones de parámetros) sobre THEBIOCOLLECTION. Para aislar el efecto del corpus, el modelo base se mantuvo fijo y el entrenamiento se realizó antes de la fase de recocido (annealing) estándar. La mezcla de entrenamiento incluyó THEBIOCOLLECTION junto con texto científico y de la web general (de OLMoCR, DCLM-CC, etc.) para prevenir el olvido catastrófico de las habilidades lingüísticas generales.

Resultados Clave

El entrenamiento con THEBIOCOLLECTION resultó en mejoras significativas en el rendimiento de tareas biológicas preservando las capacidades de lenguaje general:

• Rendimiento General: El modelo entrenado con THEBIOCOLLECTION más que duplicó la puntuación general del modelo base en THEBIOCOLLECTION-EVAL (de 0.223 a 0.499).
• Ganancias Específicas de Dominio:
  • Moléculas Pequeñas: Mejoró de 0.223 a 0.513 (p. ej., la síntesis hacia adelante aumentó de 0.213 a 0.619).
  • Proteínas: Mejoró de 0.159 a 0.407, con ganancias notables en el diseño de unión (0.234 a 0.645).
  • Secuencias Genómicas: Mejoró de 0.175 a 0.468, particularmente en la localización de segmentos de regulación de ADN/splice (0.134 a 0.516).
  • Células/Vías Metabólicas: Mejoró de 0.335 a 0.609.
• Estudio de Ablación: Al compararlo con un modelo entrenado solo con texto científico general (solo recocido de texto), THEBIOCOLLECTION proporcionó una mejora adicional de +0.114 en la puntuación biológica general. Las ganancias más significativas se observaron en tareas estructuradas y derivadas de herramientas (p. ej., localización genómica +0.242, diseño de unión +0.348), mientras que los modelos de solo texto funcionaron mejor en tareas donde los hechos están explícitamente declarados en la literatura.
• Preservación del Lenguaje General: A pesar del fuerte peso de los datos biológicos, el rendimiento del modelo en benchmarks de lenguaje general (MMLU, ARC-c, HellaSwag, etc.) permaneció casi intacto, con una caída promedio de solo 0.9 puntos en comparación con la línea base de recocido de texto.
• Razonamiento Transdominio: El modelo demostró una capacidad mejorada para encadenar evidencia entre dominios (p. ej., Función de Proteína $\to$ Vía metabólica), elevando la precisión promedio de 0.313 a 0.507 en entornos zero-shot.

Significación y Reivindicaciones

El artículo afirma que THEBIOCOLLECTION demuestra que la construcción cuidadosa de datos es un motor primario de la capacidad biológica práctica en los BioLM. Las contribuciones clave incluyen:

1. Corpus Unificado: Proporciona el primer corpus a escala de preentrenamiento que unifica recursos biológicos dispersos en una interfaz de lenguaje compartida, cubriendo moléculas pequeñas, proteínas, genomas, células y vías metabólicas.
2. Enriquecimiento Impulsado por Herramientas: Introduce una metodología para verbalizar propiedades biológicas computadas por herramientas, exponiendo señales estructuradas (como descriptores moleculares y características estructurales) que típicamente están ausentes en los corpora de texto libre.
3. Expansión de Instrucciones: Construye nuevos conjuntos de datos de instrucción para capacidades subrepresentadas, específicamente la unión de proteínas y la localización de características genómicas, que los conjuntos de datos de instrucción públicos rara vez abordan.
4. Aprendizaje Conjunto: Los resultados sugieren que la capacidad biológica y la capacidad lingüística general no son mutuamente excluyentes; pueden aprenderse conjuntamente sin interferencia significativa, siempre que el corpus de entrenamiento esté cuidadosamente curado.
5. Estándar de Evaluación: La suite acompañante THEBIOCOLLECTION-EVAL ofrece un benchmark estandarizado y transdominio para evaluar el razonamiento biológico, yendo más allá de las evaluaciones de un solo dominio.

Los autores concluyen que su trabajo destaca el potencial de los enfoques centrados en los datos para avanzar en los BioLM, mostrando que un corpus unificado, enriquecido y rico en instrucciones puede mejorar sustancialmente el rendimiento del modelo a través de todo el espectro biológico sin requerir arquitecturas especializadas o trucos de entrenamiento adicionales.