Resumen Técnico: QA Selectiva sobre Memoria Personal Multi-fuente en Conflicto

1. Definición del Problema

Los agentes de IA personal emergentes están transitando hacia arquitecturas de memoria persistentes y multi-fuente que agregan datos de perfiles a largo plazo, registros recientes, planes, autoinformes y registros de dispositivos. Existe una brecha crítica de evaluación: estos sistemas deben resolver evidencias conflictivas o incompletas de fuentes heterogéneas en lugar de recuperar hechos de una única historia limpia. Las evaluaciones existentes a menudo no logran distinguir si los errores provienen de la extracción inicial de la evidencia o del paso subsiguiente de resolución de conflictos. Además, los sistemas actuales rara vez soportan la "QA selectiva", donde un agente puede abstenerse de responder cuando la evidencia es insuficiente o irreconciliablemente conflictiva, una capacidad esencial para un despliegue fiable.

El artículo formaliza este desafío como QA Selectiva sobre Memoria Personal Multi-fuente en Conflicto. La tarea central requiere que un sistema responda preguntas de clase cerrada basándose en cinco flujos de evidencia sesgados y potencialmente conflictivos, o que se abstenga (SALTAR) cuando la evidencia no respalde una respuesta confiable.

2. Metodología y Diseño de la Evaluación

El Campo de Pruebas Diagnóstico

Los autores introducen un campo de pruebas sintético diseñado para aislar modos de fallo específicos en la resolución de conflictos:

• Escala y Estructura: El conjunto de datos comprende 34,560 instancias generadas a partir de 480 personas a través de 4 semillas aleatorias. Incluye 18 plantillas de preguntas que cubren 8 tipos de razonamiento (por ejemplo, Arbitraje de Fuentes, Plan vs. Realidad, Evidencia Faltante) en cinco dominios (Trabajo, Dieta, Social, Sueño, Ejercicio).
• Proceso de Generación de Datos (DGP): El DGP opera como un Grafo Acíclico Dirigido (DAG) para garantizar una verdad fundamental (GT) determinista:
  1. Eventos Latentes (L2): Se genera un registro de 30 días del comportamiento real del usuario.
  2. Proyección de Fuentes (L3): Los eventos latentes se proyectan en cinco flujos de fuente distintos (Perfil, Planificador, Autoinforme, Registro Objetivo, Registro de Dispositivo), cada uno con modelos de distorsión específicos y aprendibles (por ejemplo, los planificadores son optimistas, los autoinformes son socialmente deseables, los registros de dispositivos tienen valores faltantes).
  3. Renderizado en Lenguaje Natural (NL): Las proyecciones estructuradas se renderizan en documentos de memoria en lenguaje natural.
  4. Extracción: Un LLM (GPT-5.4) extrae "átomos" estructurados (valores de clase cerrada) del texto en NL.
• Verdad Fundamental: Las etiquetas se calculan de manera determinista a partir de la tabla de eventos latentes y anotaciones específicas de la fuente, asegurando que no haya dependencia circular con el proceso de extracción.
• Protocolo de Evaluación: La evaluación separa la extracción (convertir NL a átomos) de la resolución (mapear átomos a respuestas). Esto permite una descomposición factorial del rendimiento entre la calidad de la entrada (átomos extraídos vs. lectura estructurada directa) y la lógica del resolvedor.

Métodos Evaluados

El estudio evalúa cuatro niveles de métodos:

• T0 (Sin Fuente): Baselines aleatorios y de Clase Mayoritaria.
• T1 (Selección de Fuente): Seleccionar la única mejor fuente por pregunta (SSB).
• T2 (Fusión Estructurada): Métodos que aprenden mapeos de fuente a GT:
  • Votación Mayoritaria / Estilo ArgRAG: Agregación simple.
  • Fusión Corregida por Sesgo (BCF): Aplica priores de sesgo ordinal especificados manualmente.
  • Fusión Naive Bayes (NBF): Aprende matrices de confusión por fuente a partir de etiquetas de entrenamiento.
  • NBF Estratificado por Dificultad (DSNBF): Aprende matrices de confusión estratificadas por clases de dificultad de persona, inferiendo la dificultad de las personas de prueba a partir de sus patrones de átomos.
  • Fusión de Sesgo Abductivo (ABF): Utiliza un núcleo de mezcla suave que combina rutas conscientes del sesgo y libres de sesgo.
• T3 (LLMs de Extremo a Extremo): Modelos de vanguardia (GPT-5.4, Gemini 3.1 Pro, DeepSeek V3.2, Qwen3-235B) leyendo directamente la memoria NL cruda, con y sin prompts "Conscientes del Esquema" que inyectan descripciones cualitativas de sesgo.
• Referencia: Accesibilidad de la Fuente (una verificación asistida por GT de si la GT es directamente visible en alguna fuente).

Todos los métodos soportan variantes de QA Selectiva que se abstienen (SALTAR) basándose en umbrales calibrados (para métodos de fusión) o banderas autoinformadas (para LLMs).

3. Resultados Clave

Precisión y Resolución

• Fusión vs. Prompting: El mejor resolvedor de fusión entrenado (DSNBF) alcanza una 80.3% de precisión macro en átomos extraídos, superando a la baseline más fuerte de LLM solo con prompts (GPT-5.4 Consciente del Esquema) en 10.3 puntos porcentuales (70.0%).
• Calidad de Entrada: Cuando se proporciona con átomos de lectura estructurada directa ($\mu^*$) en lugar de átomos extraídos ($\hat{\mu}$), DSNBF mejora al 82.3%, mientras que GPT-5.4 mejora al 73.5%. La brecha permanece significativa (8.8 pp), indicando que la capacidad del resolvedor para modelar la fiabilidad de la fuente es el principal motor del rendimiento, no solo la calidad de la extracción de entrada.
• Selección de Fuente: La agregación ingenua (Votación Mayoritaria) tiene un rendimiento pobre (~69%) porque las fuentes sesgadas pueden superar en votos a las precisas. La selección de fuente única (SSB) tiene un mejor rendimiento (77.3%) pero es superada por los métodos de fusión aprendidos.

QA Selectiva (Abstención)

• Métodos de Fusión: DSNBF con abstención selectiva alcanza una 85.3% de precisión selectiva con un 78.3% de cobertura. Esto indica que el método identifica y salta exitosamente casos difíciles donde la evidencia es insuficiente.
• LLMs: Los LLMs de vanguardia muestran una capacidad limitada para abstenerse eficazmente. GPT-5.4 alcanza una 71.0% de precisión selectiva con un 95.4% de cobertura, y otros modelos (Gemini, DeepSeek, Qwen) se abstienen en menos del 2% de las instancias, fallando en aprovechar la abstención para mejorar la precisión.

Perspectivas Diagnósticas

• Tipos de Razonamiento: DSNBF lidera en 7 de los 8 tipos de razonamiento. Las brechas más grandes aparecen en Arbitraje (+19.0 pp) y Atribución de Factores (+12.5 pp), donde aprender matrices de confusión por fuente es crítico.
• Clases de Dificultad: El rendimiento se degrada en personas "declaradas_vs_reveladas" (donde las preferencias declaradas contradicen el comportamiento revelado). Los métodos de fusión muestran robustez (DSNBF cae solo 5 pp), mientras que los LLMs con prompts de esquema sufren una degradación significativa (13 pp), lo que sugiere que las pistas cualitativas de sesgo son insuficientes para la resolución compleja de conflictos.
• Robustez: Los resultados son estables a través de semillas aleatorias, tamaños de entrenamiento (saturando en ~100 personas) y perturbaciones del DGP (escalas de sesgo y valores faltantes).

4. Contribuciones

1. Formalización de la Tarea: Define la QA selectiva consciente del sesgo sobre memoria personal multi-fuente, modelando explícitamente distorsiones direccionales de la fuente y la opción de abstenerse.
2. Campo de Pruebas Diagnóstico: Libera una evaluación sintética (34,560 instancias) con un DGP documentado, separando la extracción de la resolución para permitir un análisis controlado de los modos de fallo.
3. Evaluación Diagnóstica: Demuestra que los modelos de fuente aprendidos (matrices de confusión) y la abstención calibrada superan significativamente a los LLMs solo con prompts y la agregación ingenua, revelando que la resolución de conflictos es una capacidad distinta de la extracción de información.

5. Significado y Limitaciones

El artículo argumenta que, para que los agentes de IA personal sean fiables, el manejo de conflictos y la capacidad de abstenerse deben hacerse explícitos antes del despliegue. La separación de extracción y resolución permite a los desarrolladores localizar fallos: si un sistema falla porque no puede leer la memoria, no puede extraer hechos o no puede ponderar evidencias conflictivas.

Limitaciones:

• Naturaleza Sintética: Los datos son sintéticos con distorsiones monótonas y dependientes del tema. Los datos del mundo real pueden involucrar cambios de hábitos no monótonos, informes adversarios o fallos complejos de sensores no capturados aquí.
• Número de Plantillas: Las 18 plantillas de preguntas limitan el poder estadístico dentro de tipos de razonamiento específicos, aunque el DGP soporta la expansión.
• Requisito de Entrenamiento: Los métodos más fuertes (DSNBF, NBF) requieren personas de entrenamiento etiquetadas. Los autores advierten que estos resultados no deben interpretarse como afirmaciones para un despliegue más barato y sin entrenamiento (zero-shot), sino como una línea base diagnóstica de lo que es alcanzable con supervisión.

El trabajo concluye que, aunque los LLMs de vanguardia pueden extraer hechos, actualmente luchan con la tarea específica de resolver conflictos sistemáticos multi-fuente sin un entrenamiento explícito en patrones de fiabilidad de la fuente. El código y los datos liberados tienen como objetivo facilitar la investigación adicional sobre agentes de memoria personal fiables.