An auditable, retrieval-grounded agent architecture improves medical accuracy and conversational safety in language models

Resumen Técnico: Una Arquitectura de Agente Auditable y Basada en la Recuperación de Información

Planteamiento del Problema
Los modelos de lenguaje de propósito general (LLM) demuestran una alta precisión en exámenes médicos, pero siguen siendo poco fiables en conversaciones clínicas. El artículo identifica modos de fallo específicos inherentes a los LLM estándar: suponen bajo incertidumbre, pierden el contexto en interacciones de múltiples turnos, confirman premisas erróneas (sicofancia) y se resisten a la auditoría. Estos fallos plantean riesgos significativos para la seguridad del paciente, incluyendo el refuerzo de creencias delirantes y respuestas inapropiadas ante la intención de autolesión. Los autores argumentan que la seguridad y la fiabilidad no son propiedades de los pesos del modelo por sí solos, sino que requieren una arquitectura a nivel de sistema que pueda diferir, anular y reconstruir el razonamiento.

Metodología: El Agente Asha
El artículo presenta a Asha, un agente clínico neurosimbólico que envuelve a un modelo de lenguaje de propósito general (el "backbone" o núcleo) con cuatro componentes simbólicos deterministas y una capa de auditoría. Esta arquitectura está diseñada para funcionar como un ejecutivo externo, compensando la naturaleza "rápida y sin modelo" del backbone LLM.

1. Calificación de Intereses (Gravity/Gravedad): Una capa simbólica asigna una puntuación de riesgo clínico y complejidad a cada consulta. Esta puntuación de "gravedad" gobierna la profundidad del cómputo, dirigiendo las consultas a diferentes niveles del sistema:
   • Asha Base: Una única pasada fundamentada en la recuperación de información.
   • Asha Mid: Una fusión de tres modelos de borradores fundamentados en la recuperación provenientes de diferentes familias de modelos de frontera.
   • Asha Apex: Un ensamble de múltiples expertos con un compositor especialista en el dominio, reservado para consultas de alto riesgo.
2. Fundamentación mediante Recuperación (Retrieval Grounding): Las respuestas candidatas se anclan en evidencia recuperada de un corpus curado de fuentes médicas y científicas (20 colecciones, ~111 millones de vectores). Esto reduce la dependencia de la recuperación paramétrica.
3. Falsificación por Recuperación Inversa: Antes de que se admita una afirmación, el sistema realiza una búsqueda inversa de evidencia desconfirmatoria. Si se encuentra evidencia contradictoria, la confianza de la afirmación se reduce o la respuesta se altera. (Nota: Esta etapa fue desactivada para la ejecución de precisión Profesional, pero estuvo activa para la ejecución Hard).
4. Composición de Especialista de Dominio: El contenido fundamentado superviviente se ensambla en una única respuesta apropiada para la especialidad.
5. Registro Auditable: Cada interacción emite un registro inmutable, anclado por hash, de la evidencia utilizada y un hash de la respuesta, almacenado en un libro de contabilidad Merkle. Esto permite a los clínicos o auditores reconstruir el proceso de razonamiento y verificar que los registros no han sido alterados.

Contribuciones Clave

• Seguridad Arquitectónica: El artículo demuestra que las mejoras de seguridad son arquitectónicas y no específicas del modelo. Al mantener el modelo base fijo y variar únicamente el sistema circundante, los autores aíslan las ganancias hacia la arquitectura misma.
• Desempeño Agnóstico al Modelo: El sistema está diseñado para ser agnóstico al modelo, permitiéndole adoptar nuevos backbones de frontera mientras retiene la fundamentación, la seguridad y la auditabilidad. Esto aísla al sistema de la retirada de modelos propietarios específicos.
• Integración Neurosimbólica: El trabajo integra la percepción neural (generación fluida) con el razonamiento simbólico explícito (restricciones, verificación y auditoría), abordando los modos de fallo de "amnesia" y "alucinación" de los sistemas puramente neurales.

Resultados
El estudio evalúa a Asha a través de varios benchmarks utilizando calificadores consistentes y con nombre propio:

• HealthBench Professional (525 preguntas dirigidas a clínicos): Evaluado bajo el calificador Claude Opus 4.8 (el mismo calificador que Anthropic usa para sus propios modelos), Asha Apex obtuvo un 70.5% en la métrica de contenido de rúbrica, superando el 66.0% reportado para Claude Mythos 5. En la métrica ajustada por longitud, la configuración condensada de Asha alcanzó un 65.5%, logrando paridad con Mythos 5.
• HealthBench Standard (5,000 preguntas): Asha Base obtuvo un 44.1% (posicionándose entre o1 y GPT-4.1), mientras que Asha Mid alcanzó un 60.6% (clase o3).
• HealthBench Hard (1,000 preguntas): Este conjunto aísla preguntas donde los modelos de frontera colapsan. Asha Apex obtuvo un 44.8%, superando a cada modelo de frontera puro probado (por ejemplo, GPT-5.2 con 40.3%, GLM-5.2 con 16.2%). La arquitectura mostró ganancias monotónicas a través de los niveles, con Asha Mid añadiendo 9.7 puntos sobre Asha Base en el subconjunto compartido.
• Replicación Independiente: En un pipeline independiente que compara contra herramientas clínicas comerciales, Asha Apex superó tanto a OpenEvidence (62.6%) como a UpToDate Expert AI (61.3%) bajo cada configuración de calificador probada (72.6% vs. 62.6%/61.3%).
• Psychosis-Bench (Seguridad): En un experimento controlado manteniendo el backbone (gemini-2.5-flash) fijo, el modelo base logró una tasa de intervención segura del 30.2%. Al ser envuelto en la arquitectura Asha, la tasa aumentó al 95.8% (P = 4.0 × 10⁻²³). Los puntajes de confirmación de delirios y facilitación de daños disminuyeron drásticamente. El nivel máximo (Asha Apex) logró un 97.9% de intervención segura frente a un modelo de pesos abiertos base (GLM-5.2) que obtuvo 80.2%.
• MedQA: Asha obtuvo un 95.5% en una división de 1,273 preguntas, comparable a las bases de frontera más fuertes.

Significancia y Reivindicaciones
El artículo afirma que los resultados apoyan una única tesis: la composición alrededor de un modelo de lenguaje de propósito general eleva tanto la precisión médica como la seguridad conversacional, y la mejora es una propiedad de la arquitectura y no de un modelo en particular.

Los autores argumentan que la escala por sí sola no resuelve la seguridad o la fiabilidad clínica. En su lugar, la integración del razonamiento simbólico, el conocimiento curado y las restricciones formales (fundamentación, falsificación y enrutamiento consciente de los intereses) crea un sistema que es:

1. Fundamentado: Las afirmaciones están ligadas a evidencia externa.
2. Falsificable: Las afirmaciones se prueban contra evidencia desconfirmatoria.
3. Protegido por Seguridad: Las consultas de alto riesgo activan la deferencia o la escalada.
4. Auditable: Cada decisión deja un registro verificable e inmutable.

El artículo posiciona esta arquitectura como una evolución necesaria para dominios regulados como la medicina, donde la capacidad de mostrar por qué se produjo una respuesta, diferir cuando los intereses exceden la confianza y dejar un registro inspeccionable es el estándar para una "IA médica fiduciaria". Los autores señalan que, si bien la arquitectura mejora el desempeño, no elimina la necesidad de la supervisión humana, particularmente para los juicios semánticos más difíciles que resisten la verificación formal.