On-Device Deep Research at 4B: Exposure Bounds Faithfulness, Retrieval Bounds Coverage

Resumen Técnico: Límites de Exposición de Investigación Profunda en 4B

Planteamiento del Problema

Los agentes de investigación profunda suelen evaluarse en función de la precisión de las respuestas a escalas de modelos frontera, pasando por alto dos restricciones críticas para el despliegue en dispositivos personales: la fidelidad de las citas (citation faithfulness) y el costo de hardware. Un agente desplegable no solo debe generar informes precisos, sino también asegurar que cada afirmación citada esté realmente respaldada por la fuente que referencia (fidelidad) y que cite las fuentes correctas (cobertura). La literatura actual reporta la calidad de la citación como una métrica única, ocultando la distincción entre un agente que respalda las fuentes que elige citar y un agente que cita las fuentes correctas. El costo de ejecutar estos agentes en hardware personal (por ejemplo, una laptop de 24 GB) y los palancas de diseño específicas que mejoran la fidelidad para modelos pequeños (por debajo de 8B) permanecen sin medir.

Metodología

El estudio aísla las variables que afectan la calidad de la citación utilizando una configuración fija y desplegable:

• Modelo y Hardware: Un único generador de 4 mil millones de parámetros (Qwen3-4B-Instruct-2507) ejecutándose en un Apple M4 Pro con 24 GB de RAM.
• Sustrato: Un corpus de 1,062 documentos derivados de 63 artículos recientes de arXiv sobre ML y tecnología del lenguaje. La evidencia "oro" (gold) para cada tarea es la lista de referencias del propio artículo fuente.
• Pipeline: El agente planifica consultas, realiza una recuperación híbrida (BM25 + densa) y redacta un informe citado.
• Diseño Experimental: Una cuadrícula de $2 \times 4$ que cruza dos factores:
  1. Calidad de la Fuente: Oráculo (se le entregan directamente los artículos oro) vs. Ingenua (se le entregan los artículos recuperados).
  2. Exposición: El número de caracteres de cada fuente visibles para el generador durante la redacción (400, 800, 1200, 1500).
• Métricas: El estudio separa la Fidelidad de la Afirmación Citada (¿la fuente citada respalda la afirmación?) de la Cobertura Confiable (fidelidad ponderada por el recall de citación). Un juez de NLI DeBERTa-v3 califica la implicación, con resultados verificados por un segundo juez independiente (HHEM-2.1-Open).
• Panel de Reparación: Un experimento secundario probó acciones de reparación post-generación (filtrado, revisión, reatribución) para ver si podían recuperar la fundamentación perdida.

Resultados Clave

El estudio identifica dos palancas distintas que actúan sobre diferentes resultados:

1. Límites de Fidelidad por Exposición:

   • Aumentar la exposición de cada fuente de 400 a 1500 caracteres eleva significativamente la fidelidad.
   • Fuentes Ingenuas (Recuperadas): La fidelidad aumentó de 0.45 a 0.58.
   • Fuentes Oráculo (Oro): La fidelidad aumentó de 0.37 a 0.58.
   • Convergencia: En una exposición alta (1500 caracteres), la fidelidad del brazo ingenuo converge con la del brazo oráculo (diferencia $\approx 0.001$). Esto indica que la fidelidad está limitada por cuánto de la fuente ve el modelo, no por si la fuente es el artículo "correcto" de oro.
   • Costo: Este aumento cuesta aproximadamente 235 tokens de salida adicionales por tarea, una fracción insignificante del presupuesto.

2. Límites de Cobertura de Recuperación:

   • La Cobertura Confiable permanece baja y plana a través de los niveles de exposición para el brazo ingenuo (rondando el 0.22).
   • Esto se debe a que el recall de citación se determina en la etapa de recuperación (mantenido cerca de 0.40) antes de que el generador escriba. Aumentar la exposición no puede solucionar el hecho de que las fuentes correctas nunca fueron presentadas.
   • El brazo Oráculo logra una mayor cobertura (hasta 0.33) simplemente porque evita el cuello de botella de la recuperación, no debido a la exposición.

3. Ineficacia de la Reparación Post-Generación:

   • Los mecanismos de reparación (filtrado, revisión) mejoraron la fidelidad al eliminar afirmaciones no respaldadas, pero simultáneamente redujeron el recall de citación.
   • En consecuencia, la Cobertura Confiable no mejoró; permaneció cerca de 0.19–0.20, confirmando que la reparación no puede recuperar la fundamentación perdida durante la recuperación o la generación inicial.

4. Robustez:

   • El aumento por exposición y la convergencia de los brazos fueron replicados usando un segundo juez independiente (HHEM), confirmando que los hallazgos no son artefactos de un único modelo de puntuación.

Significancia y Reivindicaciones

El artículo afirma proporcionar un "mapa de dónde debe provenir la confiabilidad" para los agentes de investigación en dispositivos, en lugar de un sistema desplegable listo para uso inmediato. Sus contribuciones primarias son:

• Desacoplamiento de Métricas: Demuestra que reportar una sola puntuación de citación es engañoso. Una alta fidelidad con un bajo recall indica un agente que cita con confianza las fuentes incorrectas. El estudio aboga por reportar la tríada: fidelidad, recall y cobertura confiable.
• La Palanca de Exposición: Para modelos pequeños (4B), el principal cuello de botella para la fidelidad es la exposición de entrada, no la capacidad del modelo. Un modelo 4B fijo puede respaldar afirmaciones en fuentes recuperadas tan bien como en fuentes oro si se le da suficiente contexto (1500 caracteres).
• La Palanca de Recuperación: La cobertura está estrictamente limitada por la etapa de recuperación. Ninguna cantidad de ajuste de generación o exposición puede compensar el recall de recuperación perdido.
• Receta Práctica: El estudio propone un orden de construcción específico para agentes desplegables:
  1. Primero: Aumentar la exposición por fuente (barato, efectivo para la fidelidad).
  2. Segundo: Mejorar el recall de recuperación (la única palanca restante para la cobertura confiable).
• Modestia: Los autores declaran explícitamente que los niveles de desempeño absoluto son modestos (fidelidad ~0.58, cobertura ~0.22–0.33). El agente 4B aún no es un "citador confiable", pero el estudio aclara que el camino hacia la confiabilidad reside en la exposición y la recuperación, no en simplemente escalar el tamaño del modelo o añadir bucles de reparación.

El artículo concluye que para un agente 4B en una laptop, la calidad de la citación no es un problema monolítico, sino uno dividido: la exposición resuelve el problema del "respaldo", mientras que la recuperación resuelve el problema de la "corrección".