Resumo Técnico: SpheriCity – Projetando IA Conversacional Confiável para Suporte à Decisão em Sustentabilidade

1. Definição do Problema

Especialistas em sustentabilidade enfrentam cargas cognitivas e interacionais significativas ao navegar por corpora heterogêneos de grandes volumes de relatórios de avaliação de circularidade em nível municipal. Esses documentos, que frequentemente excedem 80–100 páginas, contêm informações fragmentadas sobre fluxos de materiais, infraestrutura e intervenções políticas. Os métodos tradicionais de síntese entre múltiplos documentos exigem busca, leitura e correlação manual, o que é demorado e propenso a omitir conexões críticas.

Embora os Modelos de Linguagem de Grande Escala (LLMs) e os sistemas de Geração Aumentada de Recuperação (RAG) ofereçam o potencial para uma rápida síntese de conhecimento, eles introduzem riscos críticos em contextos de sustentabilidade de alto risco. Especificamente, o raciocínio opaco, as alucinações de fatos e a falta de transparência das fontes minam a confiança e a interpretabilidade do usuário. As avaliações atuais de IA conversacional baseiam-se em métricas genéricas (fluência, correção gramatical) que falham em capturar as necessidades específicas de especialistas, que exigem evidências verificáveis, imparciais e rastreáveis para justificar decisões políticas. Existe uma lacuna na compreensão de como projetar agentes conversacionais que suportem a "compreensão de conhecimento confiável" (trustworthy knowledge sensemaking) em vez de simplesmente gerar respostas fluentes.

2. Metodologia

2.1 Design do Sistema: SpheriCity

Os autores desenvolveram o SpheriCity, um protótipo conversacional focado em proveniência, projetado para apoiar a compreensão de conhecimento sobre um corpus de 36 relatórios de avaliação de circularidade (aprox. 2.800 páginas). A arquitetura do sistema emprega um framework RAG com três configurações distintas de recuperação para testar como o embasamento de evidências influencia a confiança:

1. Recuperação Baseada em Vetores: Utiliza busca de similaridade baseada em embeddings (all-MiniLM-L6-v2) com divisão recursiva de caracteres e reclassificação por cross-encoder para recuperar passagens semanticamente similares.
2. Recuperação Baseada em Grafos: Utiliza o sistema LightRAG para construir um grafo de conhecimento de entidades (cidades, políticas, materiais) e relacionamentos, permitindo a travessia de múltiplos saltos (multi-hop) entre conceitos conectados.
3. Recuperação Híbrida: Gera respostas independentes de ambos os pipelines de vetor e grafo, e então utiliza um prompt de síntese para integrar os pontos mais fortes, notar discrepâncias e priorizar afirmações baseadas em evidências.

Princípios de Design Chave:

• Proveniência como Núcleo: A interface separa explicitamente a atribuição da fonte da geração. Os números das páginas são derivados de metadados preservados dos documentos, em vez de serem gerados pelo LLM, reduzindo o risco de citações alucinadas.
• Síntese Estruturada: As respostas são formatadas como tópicos estruturados (intervenções, resultados, desafios) em vez de texto narrativo, para facilitar a leitura rápida e a verificação.
• Scaffolds de Interação: A interface inclui modelos de prompts para tarefas comuns (comparação entre cidades, sumarização de políticas) para guiar a formulação de consultas.

2.2 Framework de Avaliação

O estudo utilizou uma abordagem de design participativo. Seis especialistas em sustentabilidade codefiniram um framework de avaliação consistindo em cinco dimensões, medidas via uma escala Likert de 15 itens:

1. Relevância Tópica: Direcionalidade em relação à pergunta.
2. Adequação Contextual: Adequação ao escopo geográfico/institucional.
3. Precisão Percebida: Correção factual baseada no conhecimento do especialista.
4. Neutralidade: Ausência de viés ou perspectiva não fundamentada.
5. Profundidade de Informação: Nível apropriado de detalhamento sem especulação.

2.3 Protocolo de Estudo

Uma revisão formativa de especialistas foi conduzida com seis profissionais. O estudo empregou um protocolo de revisão estática, onde os especialistas avaliaram respostas pré-geradas das três configurações de recuperação para 13 consultas representativas (cobrindo tarefas de cidades específicas, comparação e recomendação). Este design permitiu comparações controladas, dentro do mesmo avaliador, das estratégias de recuperação, minimizando a carga cognitiva de uma interação ao vivo. A coleta de dados incluiu classificações quantitativas e reflexões qualitativas escritas.

3. Resultados Principais

3.1 Achados Qualitativos

A análise temática do feedback dos especialistas revelou quatro insights críticos:

• A Confiança Requer Proveniência: A atribuição visível de fontes (títulos de relatórios, números de página) é um pré-requisito para a confiança. Respostas carentes de evidências rastreáveis foram tratadas com ceticismo, independentemente da fluência. Especialistas viram a ausência de citações como um desqualificador de credibilidade.
• Compreensão de Sentido sobre Respostas Definitivas: Especialistas valorizaram a síntese estruturada que apoia o raciocínio e a exploração em vez de respostas únicas e definitivas. Eles preferiram ferramentas que os ajudassem a navegar por compensações (trade-offs) em vez de fornecer recomendações automatizadas.
• Quebras de Interpretabilidade Geram Desconfiança: Pequenos erros contextuais (ex: identificar erroneamente um estado como uma cidade) corroeram desproporcionalmente a confiança. Em domínios de alto risco, tais erros sinalizaram um risco de generalização excessiva, levando os especialistas a rejeitar toda a resposta.
• Desalinhamento de Fluxo de Trabalho: Especialistas viram o chatbot como um ponto de partida para exploração, não como um output final. Eles expressaram necessidade de funcionalidades que suportem anotação, tomada de notas e registro de justificativas para integrar os outputs da IA em seus fluxos de decisão reais.

3.2 Achados Quantitativos

A análise de modelos lineares de efeitos mistos de 3.510 classificações indicou:

• Desempenho de Recuperação: As abordagens de recuperação baseada em vetores e híbrida geralmente receberam classificações mais altas do que a recuperação baseada em grafos em todas as dimensões, particularmente em Precisão Percebida e Profundidade de Informação.
• Sensibilidade à Tarefa: A lacuna de desempenho foi mais pronunciada em consultas específicas de cidades, sugerindo que a recuperação vetorial captura melhor as informações contextuais localizadas.
• A Tensão Completude-Confiança: Embora a recuperação baseada em vetores tenha produzido respostas mais abrangentes, os especialistas permaneceram sensíveis a sutis alucinações ou generalizações contextuais excessivas dentro dessas respostas. Isso confirma que o aumento da profundidade não equivale automaticamente a um aumento na confiança se a interpretabilidade for comprometida.

4. Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Protótipo SpheriCity: Um agente conversacional focado em proveniência, projetado especificamente para a compreensão de conhecimento em sustentabilidade, apresentando síntese estruturada e rastreabilidade ao nível de página.
2. Framework de Avaliação Baseado em Especialistas: Um instrumento de avaliação de domínio específico, co-desenvolvido com especialistas em sustentabilidade, indo além de métricas genéricas para avaliar relevância, adequação contextual, precisão, neutralidade e profundidade.
3. Insights de Design para IA de Alto Risco: Evidência empírica de que, em contextos de sustentabilidade, a confiança é calibrada através de proveniência visível e comunicação de incerteza, em vez de fluência de resposta. O estudo destaca que sistemas de IA devem funcionar como ferramentas colaborativas de compreensão de sentido, e não como tomadores de decisão autoritários.

5. Significância e Alegações

Os autores posicionam este trabalho como um passo necessário em direção a uma IA responsável na sustentabilidade. Eles alegam que, para a IA conversacional ser útil no suporte à decisão de alto risco, ela deve se alinhar aos fluxos de trabalho dos especialistas que priorizam verificação e responsabilidade.

O artigo afirma modestamente que seus achados sugerem uma mudança nas prioridades de design:

• Da Fluência para a Proveniência: Sistemas devem expor a proveniência e o escopo das afirmações para permitir a confiança apropriada.
• Da Geração de Respostas para a Compreensão de Sentido: Interfaces devem suportar a exploração iterativa, comparação e justificativa de evidências.
• Da Automação para a Colaboração: A IA deve aumentar o julgamento humano ao evidenciar incertezas e restrições contextuais, em vez de tentar substituir o raciocínio do especialista.

Os autores reconhecem limitações, incluindo o pequeno tamanho da amostra, a natureza estática da avaliação (carecendo de interação de múltiplos turnos) e a restrição aos relatórios de circularidade. Eles enquadram isso não como falhas, mas como questões de pesquisa abertas sobre como a IA confiável deve se comportar quando respostas incorretas têm consequências cívicas ou ambientais. O trabalho conclui que o futuro da IA na sustentabilidade reside no design de sistemas que apoiem o trabalho de conhecimento humano transparente, responsável e colaborativo.