🤖 AI

SciTrace: Trajectory-Aware Safety Reasoning for Scientific Discovery Agents

SciTrace es un marco novedoso que integra el razonamiento de seguridad directamente en las etapas de deliberación y ejecución de los agentes científicos a través de un Bucle de Razonamiento Intrínseco de Seguridad y un Verificador de Cadena de Herramientas Composicional, previniendo eficazmente resultados perjudiciales de múltiples pasos mientras mantiene un alto nivel de calidad en el descubrimiento científico.

Autores originales: Tanush Swaminathan, Runmin Jiang, Letian Zhang, Min Xu

Publicado 2026-06-09

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tanush Swaminathan, Runmin Jiang, Letian Zhang, Min Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has contratado a un asistente de investigación brillante y superrápido hecho de IA para ayudarte a descubrir nuevos avances científicos. Este asistente puede generar ideas, ejecutar simulaciones por computadora, escribir código y redactar artículos. Pero aquí está el problema: este asistente es tan entusiasta por trabajar que podría tropezar accidentalmente con territorio peligroso —como diseñar un virus o un producto químico tóxico— sin darse cuenta hasta que sea demasiado tarde.

Los sistemas de seguridad actuales son como guardias de seguridad que solo revisan el producto final. Miran el artículo terminado o el último paso de un experimento y dicen: "¿Es esto malo?". Si la respuesta es sí, lo detienen. Pero si el peligro se construyó lentamente a través de muchos pasos pequeños y de apariencia inofensiva, el guardia lo pasa por alto.

SciTrace es un nuevo marco de trabajo que cambia la forma en que mantenemos seguros a estos científicos de IA. En lugar de solo revisar el resultado final, SciTrace entrelaza el pensamiento de seguridad en cada uno de los pasos del proceso, desde la primera idea hasta el borrador final.

Así es como funciona, utilizando dos herramientas principales:

1. La "Memoria Acumulativa" (Bucle de Razonamiento Intrínseco de Seguridad)

Imagina el flujo de trabajo del científico de IA como una carrera de relevos con cuatro corredores:

El Pensador (genera ideas)
El Experimentador (realiza pruebas)
El Escritor (escribe el artículo)
El Revisor (revisa el trabajo)

En los sistemas antiguos, si el Pensador tenía un pensamiento aterrador (como: "Oye, esta idea podría usarse para fabricar un arma biológica"), se lo susurraba a sí mismo y el Experimentador nunca se enteraba. El Experimentador entonces realizaba la prueba, pensando que todo estaba bien, y creaba accidentalmente algo peligroso.

SciTrace le da al equipo un cuaderno compartido que viaja con ellos.

Si el Pensador escribe "ADVERTENCIA: Esto es riesgoso" en el cuaderno, el Experimentador lo ve inmediatamente.
El Experimentador añade sus propias notas.
El Escritor y el Revisor ven todo el historial.

Esto asegura que una advertencia planteada al principio no se pierda ni se olvide para cuando el trabajo esté terminado. Mantiene el "nivel de riesgo" visible para todos, de modo que puedan ajustar sus acciones antes de que algo salga mal.

2. El "Detective de Trayectorias" (Verificador de Cadena de Herramientas Composicional)

Imagina a un ladrón intentando robar un banco. No lo hace de un solo gran salto. Hace primero pequeñas cosas legales:

Paso 1: Comprar un mapa de la ciudad (Inofensivo).
Paso 2: Comprar un disfraz (Inofensivo).
Paso 3: Comprar un taladro (Inofensivo).

Si un guardia de seguridad solo revisa cada artículo individualmente, deja pasar a la persona. Pero si observas la secuencia de los artículos, es obvio que están planeando un robo.

Los sistemas de seguridad de IA antiguos son como el guardia que solo revisa los artículos uno por uno. Pasan por alto el patrón.

SciTrace tiene un Detective de Trayectorias que observa la historia completa de las acciones de la IA.

Pregunta: "¿Es esta llamada a una herramienta específica peligrosa por sí sola?" (Tal vez no).
Pero luego pregunta: "¿Crea esta llamada, combinada con las llamadas anteriores, un camino peligroso?" (¡Sí!).

Por ejemplo, pedir el genoma de un virus está bien. Pedir datos de resistencia a los antibióticos está bien. Pero pedir ambos y luego pedir modelar la estructura de la proteína? Esa es una combinación peligrosa. SciTrace detecta este patrón y detiene a la IA antes de que ejecute el paso final y peligroso, sugiriendo una alternativa más segura.

Los Resultados

Los investigadores probaron SciTrace en cientos de tareas científicas de alto riesgo (como diseñar nuevos fármacos o analizar patógenos). Descubrieron que:

Detecta más errores: Encontró aproximadamente el 79% de los "patrones ocultos" peligrosos que los sistemas antiguos pasaron por alto por completo.
Es más inteligente: No se limita a decir "No" a todo. Dice: "Este camino es peligroso, pero aquí hay una alternativa segura que aún te permite realizar tu investigación".
No reduce la calidad: Los artículos científicos y los experimentos producidos fueron tan buenos (o mejores) que antes, pero mucho más seguros.

En Resumen

SciTrace es como actualizar un sistema de seguridad de un gorila de seguridad en la puerta (que solo revisa al invitado final) a un equipo de guías que acompañan al científico de IA durante todo el camino. Mantienen un registro compartido de riesgos, vigilan todo el trayecto en busca de patrones peligrosos y dirigen suavemente a la IA hacia caminos seguros sin detener el trabajo por completo.

Resumen Técnico: SciTrace – Razonamiento de Seguridad Consciente de la Trayectoria para Agentes de Descubrimiento Científico

Declaración del Problema

Si bien los agentes científicos basados en Modelos de Lenguaje Extensos (LLM) han demostrado sólidas capacidades de investigación autónoma, sus mecanismos de seguridad permanecen estructuralmente desconectados de sus procesos centrales de razonamiento. Los marcos existentes, como SafeScientist, tratan la seguridad como un filtro externo aplicado a las salidas del flujo de trabajo en lugar de como una parte intrínseca del proceso de deliberación. Esta separación arquitectónica crea dos modos principales de falla:

Pérdida de Señal en los Límites de las Etapas: Las señales de seguridad acumuladas en una etapa (por ejemplo, la etapa del "Pensador") suelen descartarse antes de que comience la siguiente etapa (por ejemplo, el "Experimentador" o el "Escritor"), lo que provoca que los agentes descendentes procedan sin el contexto crítico de riesgo.
Incapacidad para Detectar Riesgos Composicionales: El monitoreo de un solo paso filtra llamadas a herramientas individuales, pero no logra detectar resultados dañinos que emergen únicamente de secuencias de llamadas que son, de forma individual, inocuas. Por ejemplo, una trayectoria que involucre la recuperación de genomas de patógenos, la consulta de bases de datos de resistencia a antibióticos y la predicción de la estructura de proteínas puede superar los filtros individuales, pero colectivamente constituye un riesgo de síntesis de doble uso.

Metodología

Los autores introducen SciTrace, un marco que integra el razonamiento de seguridad directamente en cada etapa del flujo de trabajo del agente científico. SciTrace acopla dos mecanismos complementarios para mantener un estado de riesgo acumulativo a lo largo de la ejecución del agente:

1. Bucle de Razonamiento Intrínseco de Seguridad (SIR)

El SIR reemplaza los filtros independientes locales de cada etapa por una deliberación conjunta de tarea y seguridad. Opera en cada transición del flujo de trabajo (Pensador, Experimentador, Escritor, Revisor) y realiza lo siguiente:

Razonamiento Conjunto: El LLM del agente se le presenta con una plantilla estructurada que contiene tres entradas: (1) el contenido de la tarea de la etapa actual, (2) el estado de riesgo acumulado de todas las señales previas y (3) verificaciones de seguridad recuperadas de un módulo de memoria compartida.
Niveles de Riesgo Graduados: En lugar de decisiones binarias de bloqueo/permiso, el SIR evalúa los riesgos a través de cinco niveles: SEGURO, RIESGO BAJO, ADVERTENCIA, RIESGO ALTO y BLOQUEO.
Propagación de Estado: Cada evaluación actualiza un estado de riesgo acumulativo compartido. Si coexisten categorías de alto riesgo de interacción (por ejemplo, biología de doble uso y síntesis peligrosa), el nivel de riesgo general se escala. Esto asegura que las advertencias planteadas tempranamente (por ejemplo, en la etapa del Pensador) permanezcan visibles para las etapas descendentes.
Conciencia de Memoria: Siguiendo el marco AGrail, el SIR recupera verificaciones de seguridad pasadas basadas en la superposición de palabras clave para refinar el razonamiento dentro de una sesión.

2. Verificador de Cadena de Herramientas Composicional (CTV)

El CTV intercepta cada llamada a herramienta propuesta antes de su ejecución a través de un proxy de herramienta verificado. Evalúa la llamada dentro del contexto del historial completo de la trayectoria para detectar peligros que los monitores de un solo paso pasan por alto.

Análisis de Tres Subtareas: En una sola pasada de LLM, el CTV evalúa:
1. Dañinidad de la Solicitud: ¿Es la solicitud de investigación subyacente inherentemente dañina?
2. Riesgo Composicional: ¿Forma la llamada propuesta, combinada con el historial completo de llamadas, una trayectoria peligrosa (específicamente apuntando a la categoría de "Peligro Composicional", S9)?
3. Seguridad de la Invocación de la Herramienta: ¿Es la invocación específica segura por sí misma?
Puntuación y Acción: Estas dimensiones se ponderan para producir una puntuación de riesgo escalar ( $s$ $s$ ).
- $s > 0.5$ : Bloquear la llamada.
- $0.4 \le s \le 0.5$ : Modificar la llamada mediante retroalimentación de TS-Flow.
- $s < 0.4$ : Permitir la llamada.
Retroalimentación TS-Flow: Cuando una llamada es marcada, el sistema genera una retroalimentación constructiva que sugiere alternativas seguras (por ejemplo, sustituir un organismo modelo no patógeno) en lugar de emitir una parada drástica, preservando así la utilidad de la investigación.

Principales Contribuciones

Marco SciTrace: Una arquitectura de seguridad intrínseca para agentes de IA científicos que propaga estados de riesgo acumulativos a través de todas las etapas del flujo de trabajo mediante el razonamiento conjunto de tarea y seguridad.
Bucle de Razonamiento Intrínseco de Seguridad (SIR): Un módulo de razonamiento consciente de la etapa que cuenta con cinco niveles de riesgo graduados y recuperación de verificaciones de seguridad basadas en memoria, reemplazando los filtros independientes por etapa.
Verificador de Cadena de Herramientas Composicional (CTV): Un verificador consciente de la trayectoria que realiza un análisis de seguridad de tres subtareas antes de la ejecución de la herramienta, diseñado específicamente para capturar riesgos que surgen en secuencias de herramientas de múltiples pasos.
Mecanismo de Retroalimentación TS-Flow: Un sistema de razonamiento correctivo que orienta a los agentes hacia alternativas seguras en lugar de simplemente abortar las tareas.

Resultados Experimentales

El marco fue evaluado en SciSafetyBench, que contiene 240 tareas de investigación de alto riesgo y 120 tareas de riesgo relacionadas con herramientas en seis dominios científicos (Física, Química, Biología, Ciencia de Materiales, Ciencia de la Información y Medicina). Las evaluaciones se realizaron en cuatro modelos base: Llama-3.1-70B, Qwen2.5-72B, DeepSeek-V3 y GPT-4o.

Mejoras de Seguridad: En comparación con SafeScientist, SciTrace mejoró la tasa de seguridad de llamadas a herramientas en un promedio de 14.3 puntos porcentuales (pp) y aumentó las tasas de rechazo adversarial en 24.7 pp en promedio.
Detección de Riesgo Composicional: El CTV de SciTrace identificó con éxito el 78.8% de los "escapes composicionales": trayectorias que el monitor de un solo paso de SafeScientist aprobó pero que fueron consideradas inseguras por un juez alineado con humanos. Las tasas de detección fueron más altas en Biología (83.3%) y Química (81.3%).
Preservación de la Calidad: SciTrace mantuvo o mejoró la calidad de la salida científica (Calidad, Claridad y Puntuación General) en todos los modelos, demostrando que la mejora de la seguridad no requiere un compromiso en la utilidad de la investigación.
Robustez: El marco mostró ganancias significativas en la defensa contra estrategias adversarias de múltiples turnos, como la persuasión gradual y el engaño colaborativo, donde las defensas sin estado suelen fallar.

Significado y Reivindicaciones

El artículo postula que la seguridad en agentes autónomos de múltiples etapas se aborda mejor como una elección arquitectónica en lugar de un filtro post-hoc. Al unificar el razonamiento trans-etapa y la verificación consciente de la trayectoria, SciTrace aborda las limitaciones centrales de enfoques anteriores donde las señales de seguridad se pierden entre las etapas o donde los riesgos secuenciales son invisibles para los controles de un solo paso.

Los autores afirman que SciTrace establece un nuevo estándar para la seguridad robusta de agentes de múltiples etapas, sugiriendo que los patrones de diseño desarrollados aquí —específicamente la propagación de estados de riesgo acumulativo y la verificación de trayectorias completas de herramientas— deberían transferirse a agentes autónomos más allá del dominio del descubrimiento científico. El trabajo enfatiza que la seguridad robusta requiere un replanteamiento fundamental de cómo la seguridad se integra en el proceso de razonamiento mismo, pasando de la inspección externa al razonamiento intrínseco.