Resumen Técnico: AgentPLM

1. Formulación del Problema

Los Modelos de Lenguaje de Proteínas (PLM) actuales, como ESM-2 y ProtTrans, funcionan como "oráculos pasivos". Generan secuencias de proteínas en una única pasada hacia adelante basada en la predicción del siguiente token entrenada con datos evolutivos. Aunque son efectivos para la predicción de fitness zero-shot, sufren una limitación fundamental: carecen de mecanismos para consultar retroalimentación biofísica externa durante la generación. En consecuencia, no pueden redirigir dinámicamente la secuencia si un candidato viola la estabilidad termodinámica, las restricciones estructurales o la especificidad de unión. Esta "ceguera estructural" y "ceguera epistática" (subestimación de las dependencias de residuos de largo alcance) hace que los PLM sean frágiles para objetivos de diseño fuera de la distribución donde los registros evolutivos ofrecen una guía insuficiente.

El artículo enmarca el diseño de proteínas no como una tarea estática de generación de secuencias, sino como un problema de optimización con restricciones donde el objetivo es maximizar una función de fitness $f(S)$ sujeta a restricciones biofísicas $C$, estimadas mediante oráculos computacionales (por ejemplo, ESMFold, FoldX, AutoDock Vina).

2. Metodología: AgentPLM

AgentPLM transforma un PLM pre-entrenado en un sistema agéntico capaz de intercalar la generación de secuencias autorregresiva con llamadas a herramientas estructuradas. El marco se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) y consta de cuatro componentes arquitectónicos y algorítmicos clave:

A. Arquitectura

1. Vocabulario Expandido e Inicialización de Llamadas a Herramientas: El vocabulario estándar de aminoácidos se extiende con tokens para llamadas a herramientas (uno por cada oráculo) y un token de fin de secuencia. Crucialmente, los tokens de herramientas se inicializan semánticamente mediante descripciones en lenguaje natural de los oráculos (por ejemplo, "predecir el cambio en la estabilidad termodinámica") mapeadas a través del espacio de incrustación (embedding) de ESM-2. Esto asegura que los tokens de herramientas residan en la misma variedad representacional que los aminoácidos desde el principio, reduciendo los pasos de gradiente necesarios para el aprendizaje.
2. Codificador de Contexto de Herramientas (TCE): Un codificador unificado proyecta las salidas heterogéneas de los oráculos (por ejemplo, puntuaciones pLDDT por residuo, escalar $\Delta\Delta G$, vectores de unión) en el espacio latente del modelo. Utiliza atención cruzada para integrar la salida del oráculo con el estado oculto actual del modelo.
3. Búfer de Memoria de Trayectoria (TMB): Para gestionar eficientemente la ventana de contexto, el TMB mantiene una memoria episódica comprimida de tamaño constante de todas las llamadas a herramientas pasadas. Inyecta esta memoria en el flujo residual del Transformer mediante un mecanismo de compuerta (gating) aprendido, lo que permite al modelo condicionar las generaciones futuras sobre el historial completo de interacciones con el oráculo sin costos de atención cuadráticos.
4. Decodificación Aumentada por Razonamiento (RAD): Esta es la política de inferencia. En cada paso, el modelo selecciona ya sea un aminoácido o una llamada a una herramienta.
   • Backtracking Dinámico: Si se selecciona una llamada a una herramienta, el oráculo se invoca, el TCE/TMB actualiza el contexto y el modelo reevalúa la posición actual sin avanzar el índice de la secuencia.
   • Autoconsistencia Estructural (SSC): Un novedoso mecanismo de seguridad que obliga a realizar una llamada a una herramienta si la creencia interna del modelo sobre la secuencia parcial es inconsistente con la potencial retroalimentación del oráculo (puntuación SSC baja), actuando como un paso de resolución activa de incertidumbre.
   • Restricciones de Presupuesto: Para evitar bucles degenerados, RAD impone un intervalo mínimo entre llamadas y un presupuesto máximo de llamadas a herramientas por secuencia.

B. Objetivo de Entrenamiento: Optimización de Política Agéntica Contrastiva (CAPO)

El artículo introduce CAPO, una extensión a nivel de trayectoria de la Optimización de Preferencia Directa (DPO).

• Construcción de Datos: Las trayectorias se generan utilizando una política de referencia. Las trayectorias "ganadoras" (secuencias de alto fitness con uso coherente de herramientas) se emparejan con trayectorias "perdedoras" (secuencias de bajo fitness o uso de herramientas contradictorio).
• Función de Pérdida: El objetivo contrasta la log-probabilidad de las trayectorias ganadoras frente a las perdedoras, normalizada por una política de referencia. Esto enseña al modelo cuándo invocar oráculos y cómo utilizar su retroalimentación, en lugar de simplemente imitar secuencias de alto fitness.
• Pérdida Auxiliar: Una pérdida de consistencia de la herramienta penaliza las elecciones de aminoácidos que contradicen las señales observadas del oráculo, regularizando la política para alinearla con la realidad biofísica.

3. Contribuciones Clave

1. Decodificación Aumentada por Razonamiento (RAD): Una estrategia de decodificación que intercala la generación con llamadas a herramientas, utilizando un Codificador de Contexto de Herramientas aprendido y un Búfer de Memoria de Trayectoria entrenados de extremo a extremo sobre objetivos de ingeniería de proteínas.
2. Optimización de Política Agéntica Contrastiva (CAPO): Un nuevo objetivo de entrenamiento que aprende el tiempo y la utilidad de la retroalimentación del oráculo al contrastar trayectorias de alto fitness con un uso coherente de herramientas frente a otras de bajo fitness.
3. Rendimiento de Vanguardia (State-of-the-Art): El marco demuestra que el razonamiento agéntico, en lugar de solo un mayor cómputo o modelos más grandes, impulsa las mejoras de rendimiento en tareas complejas de diseño de proteínas.

4. Resultados Experimentales

AgentPLM fue evaluado en cinco tareas de referencia: Termoestabilidad (ThermoStab-75), Optimización de Anticuerpos (AntibodyOpt-VH), Diseño de Enzimas (EnzymeDesign-EC3), Interacción Proteína-Proteína (PPI-Interface) y Predicción de Fitness Zero-Shot.

• Ganancias de Rendimiento: AgentPLM logró resultados de vanguardia en todas las tareas. Notablemente, mejoró la tasa de éxito del top-10% en anticuerpos en 2.79× respecto al fuerte baseline pasivo (ESM-2) y logró una mejora del 41% en la $k_{cat}/K_m$ normalizada para el diseño de enzimas sobre el siguiente mejor baseline (ProtAgent).
• Evidencia Mecanicista:
  • Análisis de Trayectoria: El análisis de la densidad de llamadas a herramientas reveló una "división del trabajo temporal" aprendida: las llamadas a ESMFold alcanzaron su pico temprano (compatibilidad de plegado), las llamadas a FoldX alcanzaron su pico a mitad de la secuencia (estabilidad en uniones) y las llamadas a AutoDock Vina alcanzaron su pico tardíamente (formación de la interfaz de unión). Esto refleja las estrategias de razonamiento de expertos humanos.
  • Corrección de Errores en Línea: La atribución de gradiente integrada mostró que, tras una llamada de FoldX desestabilizadora, la masa de atención se concentró específicamente en los residuos afectados (un aumento de 1.8×), confirmando que el modelo redirige activamente la generación basándose en la retroalimentación del oráculo sin un backtracking explícito.
• Estudios de Ablación: Eliminar RAD redujo el rendimiento en un ~30-46%, confirmando que la retroalimentación en línea es el principal motor. Reemplazar CAPO con Ajuste Fino Supervisado (SFT) estándar redujo el rendimiento, demostando que el objetivo contrastivo es esencial para aprender cuándo usar las herramientas.

5. Significado y Reivindicaciones

El artículo afirma que AgentPLM aborda el desajuste fundamental entre la naturaleza estática de los PLM actuales y la naturaleza iterativa y basada en retroalimentación de la ingeniería de proteínas experta. Al tratar el diseño de proteínas como un problema de decisión secuencial con retroalimentación biofísica en línea, AgentPLM logra ganancias de rendimiento que los modelos pasivos no pueden replicar.

Los autores enfatizan que estas ganancias surgen de trayectorias de razonamiento cualitativamente diferentes en lugar de un mayor cómputo. El trabajo respalda la visión de que los paradigmas evolutivos y agénticos son complementarios: el prior evolutivo de modelos como ESM-2 es necesario pero insuficiente para el diseño complejo, y RAD suministra el refinamiento iterativo requerido para satisfacer restricciones simultáneas y no aditivas (termoestabilidad, solubilidad, unión). El artículo concluye que este marco proporciona una vía para el diseño de proteínas robusto y fuera de la distribución donde las señales evolutivas por sí solas son inadecuadas.