Argumentation for Explainable and Globally Contestable Decision Support with LLMs

O artigo apresenta o ArgEval, um framework que supera as limitações de sistemas anteriores ao utilizar argumentação computacional para mapear espaços de decisão e construir estruturas argumentativas gerais, permitindo não apenas explicações locais, mas também o questionamento e a correção global da lógica de decisão em domínios de alto risco, como a recomendação de tratamentos para glioblastoma.

O essencial

Imagine que você tem um consultor médico superinteligente, mas que às vezes "alucina" (inventa fatos) e não consegue explicar por que ele chegou a uma conclusão. Se ele diz "Faça esta cirurgia", você não sabe se é porque o paciente está bem ou porque o computador "achou" que era uma boa ideia. Isso é perigoso em áreas críticas, como a saúde.

Os autores deste artigo, Adam, Matthew e Francesca, criaram uma solução chamada ArgEval. Vamos entender como funciona usando uma analogia simples: o "Manual de Regras" vs. a "Adivinhação".

1. O Problema: O Consultor que Adivinha

Os modelos de linguagem atuais (como o ChatGPT) são como estudantes brilhantes que leram todo o mundo, mas que respondem às perguntas baseados no que "parece" certo na hora, sem um manual de regras fixo.

• O risco: Se você perguntar "Devo operar este paciente?", ele pode dar uma resposta errada e inventar uma justificativa que soa convincente, mas é falsa.
• O limite atual: Se você corrigir o modelo em um caso, ele não aprende a regra geral. No próximo caso parecido, ele pode errar de novo da mesma forma. É como corrigir um aluno na prova, mas não mudar o livro didático.

2. A Solução: ArgEval (O Arquiteto de Regras)

O ArgEval muda o jogo. Em vez de deixar o computador "adivinhar" a resposta para cada paciente, ele primeiro constrói um Mapa de Decisões (uma Ontologia) e um Sistema de Argumentos (Quadros de Argumentação) para todas as opções de tratamento possíveis.

Pense no ArgEval como um engenheiro que constrói um prédio de regras antes de morar alguém lá:

• Passo 1: O Mapa do Tesouro (Ontologia): O sistema lê todos os guias médicos e cria uma lista organizada de todas as opções de tratamento (ex: cirurgia, radioterapia, quimioterapia).
• Passo 2: A Arena de Debates (Quadros de Argumentação): Para cada tratamento, o sistema cria um "debate" prévio.
  • Argumentos a Favor: "A cirurgia é boa porque remove o tumor."
  • Argumentos Contra: "A cirurgia é ruim se o tumor estiver perto de áreas vitais do cérebro."
  • Regras de Ativação: O sistema define exatamente quando cada argumento vale (ex: "Se o paciente tem mais de 65 anos, o argumento 'risco alto' ganha força").

3. Como Funciona na Prática (A Analogia do "Filtro")

Quando chega um paciente real (digamos, um senhor de 85 anos com um tumor no cérebro), o ArgEval não "chuta" a resposta. Ele faz o seguinte:

1. Pega o Mapa: Olha para o "debate" pré-construído sobre "Cirurgia".
2. Aplica o Filtro: Verifica os dados do paciente.
   • O paciente tem mais de 65 anos? Sim. -> O argumento "Risco alto em idosos" é ativado.
   • O tumor está em local perigoso? Sim. -> O argumento "Não é seguro operar" é ativado.
3. Calcula a Pontuação: O sistema soma os pontos dos argumentos a favor e contra, seguindo uma lógica matemática rigorosa.
4. Resultado: Ele diz: "A cirurgia é não recomendada (pontuação baixa) porque os argumentos contra pesaram mais".

4. O Grande Trunfo: "Contestação Global"

Aqui está a parte mais genial e que o papel destaca muito.

• Sistemas Antigos (Contestação Local): Se você diz "Ei, você errou neste paciente", o sistema apenas corrige aquele caso. Se aparecer outro paciente igual amanhã, ele erra de novo.
• ArgEval (Contestação Global): Se você diz "Ei, você errou neste paciente", você está na verdade editando o Manual de Regras.
  • Exemplo: Você vê que o sistema achou que a radioterapia de 60 Gy era boa para idosos, mas na verdade não é. Você ajusta a "força" desse argumento no Mapa Geral.
  • O Efeito Borboleta: Assim que você ajusta essa regra no mapa, todos os pacientes futuros que se encaixarem nessa situação terão a resposta corrigida automaticamente. Você não está apenas consertando um erro; você está atualizando a inteligência do sistema para sempre.

Resumo em uma Frase

O ArgEval transforma a Inteligência Artificial de um "oráculo místico que adivinha respostas" em um sistema transparente de regras, onde cada decisão é um debate lógico que você pode ver, entender e, se necessário, corrigir para beneficiar todos os pacientes futuros, não apenas o atual.

É como trocar um juiz que decide baseado em "feeling" por um juiz que segue um código de leis claro, onde, se você provar que uma lei está errada, o código inteiro é atualizado para todos.

Resumo técnico

1. Problema

Os Grandes Modelos de Linguagem (LLMs) demonstram capacidades gerais impressionantes, mas sua aplicação em domínios de alto risco (como a saúde) é limitada por duas falhas críticas:

• Opacidade e Imprevisibilidade: Devido à sua natureza estocástica, os LLMs podem sofrer de alucinações e omissões de informações críticas. Métodos existentes de explicação (como Chain-of-Thought) muitas vezes não são fiéis ao raciocínio interno real do modelo.
• Limitação na Contestação: Abordagens recentes que combinam LLMs com argumentação computacional (como ArgLLMs e ArgRAG) permitem que os usuários contestem decisões para casos específicos (contestação local). No entanto, essas correções não alteram a lógica subjacente do sistema, tornando-o propenso a cometer os mesmos erros em futuros casos semelhantes. Além disso, muitas dessas abordagens são restritas a escolhas binárias, não suportando decisões abertas e complexas.

2. Metodologia: O Framework ArgEval

O artigo propõe o ArgEval, um framework que desloca o foco do raciocínio específico de instâncias para a avaliação estruturada de opções de decisão gerais. O pipeline divide-se em duas fases principais:

A. Processamento de Tarefa Geral (Offline)

Nesta fase, o sistema constrói uma base de conhecimento estruturada a partir de documentos de política (ex: diretrizes clínicas):

1. Construção de Ontologia de Decisão: Um LLM extrai entidades de decisão e suas hierarquias dos documentos, criando uma ontologia estruturada das opções disponíveis (ex: diferentes tipos de quimioterapia ou radioterapia).
2. Construção de QBAFs Gerais (General QBAFs): Para cada opção de decisão na ontologia, o sistema minera um Framework de Argumentação Bipolar Quantitativa (QBAF).
   • O LLM gera argumentos a favor e contra cada opção, baseando-se nos documentos.
   • Estima-se uma pontuação base (força intrínseca) para cada argumento.
   • Formalizam-se condições (em JSON Schema) que definem quando um argumento é aplicável.
   • O resultado é um conjunto de QBAFs genéricos que capturam o conhecimento geral sobre as opções de decisão.

B. Inferência Específica de Caso (Online)

Quando um novo caso chega (ex: descrição de um paciente):

1. Extração de Parâmetros: Um LLM extrai os parâmetros do caso (idade, localização do tumor, etc.) baseando-se no esquema global definido na fase anterior.
2. Instanciação do QBAF: O QBAF geral associado à opção de decisão é "instanciado". Argumentos cujas condições não são satisfeitas pelos parâmetros do paciente são removidos, junto com seus descendentes e relações.
3. Inferência e Explicação: Aplica-se uma semântica gradual (DF-QuAD) para calcular a força final dos argumentos. A decisão com a maior força é recomendada.
   • Explicabilidade: O QBAF instanciado serve como uma explicação fiel e transparente do porquê uma decisão foi tomada.
   • Contestação Global: O usuário pode contestar o sistema alterando as pontuações base ou adicionando/removendo argumentos no QBAF Geral. Como o QBAF instanciado deriva diretamente do geral, essa correção afeta automaticamente todos os casos futuros que satisfaçam as mesmas condições, resolvendo o problema da repetição de erros.

3. Contribuições Principais

• Novo Framework (ArgEval): Introduz uma abordagem que mapeia espaços de decisão e constrói ontologias e QBAFs gerais, permitindo decisões abertas (não apenas binárias).
• Contestabilidade Global: Diferencia-se de trabalhos anteriores ao permitir que correções feitas em um único caso se propaguem para melhorar a lógica do sistema para todos os casos futuros, alterando o conhecimento compartilhado.
• Explicabilidade Fiel: Utiliza a estrutura formal do QBAF como explicação, evitando as falhas de fidelidade de métodos baseados apenas em texto gerado.
• Eficiência Computacional: Ao construir os argumentos uma vez (offline) e apenas instanciá-los (online), reduz drasticamente o custo de inferência em comparação com métodos que geram argumentos do zero para cada caso.

4. Resultados Experimentais

O framework foi avaliado na tarefa de recomendação de tratamento para glioblastoma (um tumor cerebral agressivo), utilizando diretrizes clínicas reais e dados de pacientes simulados.

• Desempenho: Variantes do ArgEval alcançaram desempenho competitivo (e em alguns casos superior) em relação a LLMs base e ao ArgLLMs-O (uma versão adaptada do estado da arte).
  • A melhor variante (usando o modelo Qwen3-30B) atingiu uma taxa de correspondência de rótulos (LMR) de 0,8818 e um NDCG (medida de ranking) de 0,9771.
• Eficiência: O ArgEval consumiu significativamente menos tokens de inferência. A variante mais cara do ArgEval exigiu cerca de 2,9x menos tokens que a versão mais barata do LLM base e 8,7x menos que a versão mais barata do ArgLLMs-O.
• Estudo de Caso de Contestação:
  • Em um experimento onde o modelo inicial fez recomendações subótimas para um paciente específico (recomendando erroneamente ressecção cirúrgica e radioterapia de 60 Gy), uma contestação manual foi realizada.
  • O usuário ajustou as pontuações base no QBAF geral e refinou as descrições dos parâmetros no esquema.
  • Resultado: A correção no caso único não apenas corrigiu aquele paciente, mas melhorou o desempenho global do modelo em todo o conjunto de dados (aumentando a LMR de 0,8009 para 0,8784), demonstrando o poder da contestabilidade global.

5. Significado e Conclusão

O ArgEval representa um avanço significativo para a IA explicável em domínios críticos. Ao integrar a argumentação formal com LLMs de forma estruturada e global, o sistema supera a limitação de "aprendizado de um caso" (local), permitindo que o conhecimento seja refinado e compartilhado entre todos os casos.

A principal implicação é que sistemas de suporte à decisão clínica podem se tornar mais seguros e confiáveis, pois erros podem ser corrigidos de forma permanente na lógica do sistema, e não apenas contornados em uma única interação. Além disso, a redução drástica nos custos computacionais torna a implementação prática em ambientes de saúde mais viável.