Resumen Técnico: SpheriCity – Diseñando IA Conversacional Confiable para el Soporte de Decisiones en Sostenibilidad

1. Planteamiento del Problema

Los expertos en sostenibilidad enfrentan cargas cognitivas e interaccionales significativas al navegar por corpus heterogéneos y extensos de informes de evaluación de circularidad a nivel de ciudad. Estos documentos, que a menudo superan las 80–100 páginas, contienen información fragmentada sobre flujos de materiales, infraestructura e intervenciones de políticas. Los métodos tradicionales de síntesis entre múltiples documentos requieren búsqueda, lectura y referencias cruzadas manuales, lo cual consume mucho tiempo y es propenso a omitir conexiones críticas.

Si bien los Modelos de Lenguaje Extensos (LLMs) y los sistemas de Generación Aumentada por Recuperación (RAG) ofrecen el potencial para una síntesis de conocimiento rápida, introducen riesgos críticos en contextos de sostenibilidad de alto nivel. Específicamente, el razonamiento opaco, las alucinaciones de hechos y la falta de transparencia en las fuentes socavan la confianza del usuario y la interpretabilidad. Las evaluaciones actuales de la IA conversacional suelen depender de métricas genéricas (fluidez, corrección gramatical) que no logran capturar las necesidades específicas de los expertos, quienes requieren evidencia verificable, imparcial y trazable para justificar decisiones políticas. Existe una brecha en la comprensión de cómo diseñar agentes conversacionales que apoyen la "elaboración de sentido de conocimiento confiable" en lugar de simplemente generar respuestas fluidas.

2. Metodología

2.1 Diseño del Sistema: SpheriCity

Los autores desarrollaron SpheriCity, un prototipo conversacional centrado en la procedencia diseñado para apoyar la elaboración de sentido del conocimiento sobre un corpus de 36 informes de evaluación de circularidad (aprox. 2,800 páginas). La arquitectura del sistema emplea un marco RAG con tres configuraciones de recuperación distintas para probar cómo el fundamento de la evidencia influye en la confianza:

1. Recuperación basada en vectores: Utiliza búsqueda de similitud basada en embeddings (all-MiniLM-L6-v2) con división de caracteres recursiva y reordenamiento mediante cross-encoder para recuperar pasajes semánticamente similares.
2. Recuperación basada en grafos: Utiliza el sistema LightRAG para construir un grafo de conocimiento de entidades (ciudades, políticas, materiales) y relaciones, permitiendo el recorrido de múltiples saltos entre conceptos conectados.
3. Recuperación híbrida: Genera respuestas independientes de ambos canales (vectorial y de grafos), y luego utiliza un prompt de síntesis para integrar los puntos más sólidos, señalar discrepancias y priorizar afirmaciones basadas en la evidencia.

Principios de Diseño Clave:

• La Procedencia como Núcleo: La interfaz separa explícitamente la atribución de la fuente de la generación. Los números de página se derivan de metadatos de documentos preservados en lugar de ser generados por el LLM, reduciendo el riesgo de citas alucinadas.
• Síntesis Estructurada: Las respuestas se formatean como puntos de lista estructurados (intervenciones, resultados, desafíos) en lugar de texto narrativo para facilitar el escaneo y la verificación.
  el sistema incluye plantillas de prompts para tareas comunes (comparación entre ciudades, resumen de políticas) para guiar la formulación de consultas.

2.2 Marco de Evaluación

El estudio utilizó un enfoque de diseño participativo. Seis expertos en sostenibilidad co-definieron un marco de evaluación que consta de cinco dimensiones, medidas mediante una escala Likert de 15 ítems:

1. Relevancia Temática: Relación directa con la pregunta.
2. Adecuación Contextual: Idoneidad respecto al alcance geográfico/institucional.
3. Precisión Percibida: Corrección factual basada en el conocimiento experto.
4. Neutralidad: Ausencia de sesgo o perspectiva injustificada.
5. Profundidad de la Información: Nivel de detalle apropiado sin especulaciones.

2.3 Protocolo de Estudio

Se llevó a cabo una revisión formativa de expertos con seis profesionales. El estudio empleó un protocolo de revisión estática donde los expertos calificaron respuestas pregeneradas de las tres configuraciones de recuperación para 13 consultas representativas (que cubren tareas de ciudades específicas, comparación y recomendación). Este diseño permitió comparaciones controladas dentro del mismo evaluador de las estrategias de recuperación, minimizando la carga cognitiva de la interacción en vivo. La recolección de datos incluyó calificaciones cuantitativas y reflexiones cualitativas escritas.

3. Resultados Clave

3.1 Hallazgos Cualitativos

El análisis temático de la retroalimentación de los expertos reveló cuatro ideas críticas:

• La Confianza Requiere Procedencia: La atribución de fuentes visible (títulos de informes, números de página) es un prerrequisito para la confianza. Las respuestas que carecían de evidencia trazable fueron tratadas con escepticismo, independientemente de su fluidez. Los expertos consideraron la ausencia de citas como un factor de descalificación de la credibilidad.
• Elaboración de Sentido sobre Respuestas Definitivas: Los expertos valoraron la síntesis estructurada que apoyaba el razonamiento y la exploración por encima de respuestas únicas y definitivas. Prefirieron herramientas que les ayudaran a navegar entre compensaciones (trade-offs) en lugar de proporcionar recomendaciones automatizadas.
• Las Rupturas de Interpretabilidad Generan Desconfianza: Los errores contextuales pequeños (por ejemplo, identificar erróneamente un estado como una ciudad) erosionaron la confianza de manera desproporcionada. En dominios de alto riesgo, tales errores señalaron un riesgo de sobregeneralización, llevando a los expertos a rechazar la respuesta completa.
• Desalineación del Flujo de Trabajo: Los expertos vieron al chatbot como un punto de partida para la exploración, no como un producto final. Expresaron la necesidad de funciones que soporten la anotación, la toma de notas y el registro de justificaciones para integrar los resultados de la IA en sus flujos de decisión reales.

3.2 Hallazgos Cuantitativos

El análisis de modelos lineales de efectos mixtos de 3,510 calificaciones indicó:

• Desempeño de la Recuperación: Los enfoques de recuperación basados en vectores y el híbrido generalmente recibieron calificaciones más altas que la recuperación basada en grafos en todas las dimensiones, particularmente en Precisión Percibida y Profundidad de la Información.
• Sensibilidad a la Tarea: La brecha de desempeño fue más pronunciada en consultas de ciudades específicas, lo que sugiere que la recuperación vectorial captura mejor la información contextual localizada.
• La Tensión entre Completitud y Confianza: Aunque la recuperación basada en vectores produjo respuestas más completas, los expertos siguieron siendo sensibles a las alucinaciones sutiles o sobregeneralizaciones contextuales dentro de esas respuestas. Esto confirma que un mayor nivel de profundidad no equivale automáticamente a una mayor confianza si la interpretabilidad se ve comprometida.

4. Contribuciones Principales

El artículo realiza tres contribuciones primarias:

1. Prototipo SpheriCity: Un agente conversacional centrado en la procedencia diseñado específicamente para la elaboración de sentido de conocimiento en sostenibilidad, que cuenta con síntesis estructurada y trazabilidad a nivel de página.
2. Marco de Evaluación Basado en Expertos: Un instrumento de evaluación específico del dominio co-desarrollado con expertos en sostenibilidad, que va más allá de las métricas genéricas para evaluar relevancia, adecuación contextual, precisión, neutralidad y profundidad.
3. Perspectivas de Diseño para IA de Alto Riesgo: Evidencia empírica de que, en contextos de sostenibilidad, la confianza se calibra a través de la procedencia visible y la comunicación de la incertidumbre, en lugar de la fluidez de la respuesta. El estudio destaca que los sistemas de IA deben funcionar como herramientas colaborativas de elaboración de sentido en lugar de tomadores de decisiones autoritarios.

5. Significado y Reivindicaciones

Los autores posicionan este trabajo como un paso necesario hacia una IA responsable en la sostenibilidad. Afirman que, para que la IA conversacional sea útil en el soporte de decisiones de alto nivel, debe alinearse con los flujos de trabajo de los expertos que priorizan la verificación y la rendición de cuentas.

El artículo afirma modestamente que sus hallazgos sugieren un cambio en las prioridades de diseño:

• De la Fluidez a la Procedencia: Los sistemas deben exponer la procedencia y el alcance de las afirmaciones para permitir una dependencia adecuada.
• De la Generación de Respuestas a la Elaboración de Sentido: Las interfaces deben apoyar la exploración iterativa, la comparación y la justificación de la evidencia.
• De la Automatización a la Colaboración: La IA debe aumentar el juicio humano al presentar la incertidumbre y las restricciones contextuales, en lugar de intentar reemplazar el razonamiento experto.

Los autores reconocen las limitaciones, incluyendo el tamaño pequeño de la muestra, la naturaleza estática de la evaluación (que carece de interacción de múltiples turnos) y la restricción a informes de circularidad. Encuadran esto no como fallos, sino como preguntas de investigación abiertas sobre cómo debería comportarse la IA confiable cuando las respuestas incorrectas tienen consecuencias cívicas o ambientales. El trabajo concluye que el futuro de la IA en la sostenibilidad reside en diseñar sistemas que apoyen un trabajo de conocimiento humano transparente, responsable y colaborativo.