💻 computer science

LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning

O LUX é uma nova arquitetura de visão-linguagem condicionada por grafos que aprimora a legendagem endoscópica explicável para colite ulcerativa ao construir grafos de cena centrados em lesões para guiar a geração de tokens, melhorando, assim, a precisão clínica, a interpretabilidade e o ancoramento, enquanto reduz alucinações em comparação com modelos existentes.

Autores originais: Alexis Ivan Escamilla-Lopez, Gilberto Ochoa-Ruiz, Salvador Hinojosa, Sharib Ali

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexis Ivan Escamilla-Lopez, Gilberto Ochoa-Ruiz, Salvador Hinojosa, Sharib Ali

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Dentro do cólon humano, uma condição crônica conhecida como colite ulcerativa faz com que o revestimento se torne inflamado, vermelho e frágil. Para entender o quão severa é essa inflamação, os médicos dependem de um procedimento chamado endoscopia, onde uma câmera flexível é passada pelo trato digestivo para capturar imagens do tecido. Um especialista então examina essas imagens, procurando por sinais específicos como sangramento, úlceras ou uma perda do padrão normal dos vasos sanguíneos. Com base no que veem, eles atribuem uma pontuação de gravidade e escrevem uma descrição detalhada do estado da doença. Esse processo é vital para decidir o tratamento, mas também é difícil e subjetivo. Dois médicos diferentes podem olhar para a mesma imagem e discordar sobre o quão doente o paciente está, ou um pode perder um sinal sutil de problema que outro detectaria.

Por anos, cientistas tentaram construir programas de computador que pudessem ler essas imagens médicas e escrever suas próprias descrições, esperando ajudar os médicos a serem mais consistentes e precisos. As tentativas iniciais usaram inteligência artificial para olhar para a imagem inteira de uma só vez, comprimindo toda a imagem em um resumo único antes de tentar escrever uma frase. Embora esses sistemas pudessem produzir textos fluentes, eles frequentemente falhavam em conectar suas palavras aos pontos reais da doença na imagem. Eles poderiam descrever um sangramento que não estava lá ou perder uma úlcera grave porque estavam olhando para o "quadro geral" em vez dos detalhes específicos. Essa falta de conexão tornava os relatórios do computador não confiáveis para uso clínico, pois a máquina não conseguia explicar por que escreveu o que escreveu.

Uma equipe de pesquisadores desenvolveu agora um novo sistema chamado LUX que muda a forma como os computadores abordam essa tarefa. Em vez de tratar uma imagem endoscópica como um todo único e borrado, o LUX decompõe a imagem em partes específicas e significativas. Quando o sistema olha para uma foto de um cólon inflamado, ele primeiro identifica as localizações exatas das áreas problemáticas, como um retalho de vermelhidão ou uma pequena ferida. Ele então trata esses pontos como caracteres individuais de uma história, mapeando como eles se relacionam entre si. Se uma ferida está ao lado de uma área com sangramento, o sistema nota essa conexão. Ele constrói um mapa estruturado da doença, onde cada nó representa uma lesão específica e cada linha entre eles representa uma relação, como proximidade ou similaridade.

Este mapa de lesões torna-se a base para a escrita do computador. Em vez de adivinhar o que dizer com base em uma impressão geral da imagem, o sistema usa este mapa para guiar cada palavra que gera. Ao construir uma frase, ele constantemente verifica seu trabalho contra os pontos específicos que identificou. Se o sistema escreve a palavra "sangramento", ele garante que esta palavra esteja diretamente ligada a uma área específica na imagem onde o sangramento foi detectado. Este método força o computador a fundamentar sua linguagem em evidências visuais, evitando que ele invente sintomas que não existem. O resultado é uma descrição que não apenas soa profissional, mas também aponta diretamente para a evidência física que sustenta cada afirmação.

Os pesquisadores testaram esta abordagem contra muitos outros métodos, incluindo sistemas baseados em modelos de inteligência artificial de propósito geral massivos que leram milhões de documentos. Eles descobriram que o LUX era significativamente melhor em descrever as imagens com precisão. Ele produziu menos erros, como descrever um cólon saudável como doente ou perder uma úlcera grave. Em testes medindo o quão bem as descrições do computador correspondiam às escritas por especialistas humanos, o LUX superou todos os outros sistemas. Ele foi particularmente bem-sucedido em reduzir "alucinações", um termo que os pesquisadores usam para quando um computador descreve confiantemente algo que não está realmente lá. Enquanto outros sistemas cometiam esses erros cerca de 9,4 por cento das vezes, o LUX reduziu essa taxa para apenas 5,3 por cento.

O estudo também mostrou que este novo método ajuda o computador a entender a gravidade da doença com maior precisão. Na colite ulcerativa, a gravidade é frequentemente determinada por como diferentes sinais aparecem juntos e onde estão localizados. Como o LUX mapeia as relações entre esses sinais, ele consegue distinguir entre um caso leve e um caso grave com maior precisão do que sistemas que apenas olham para a imagem como um todo. Quando médicos humanos revisaram as descrições geradas pelo LUX, eles as classificaram como altamente precisas e clinicamente úteis, observando que o sistema identificava corretamente características específicas, como padrões vasculares e textura do tecido.

Este trabalho sugere que, para o diagnóstico por imagem médica, especialmente em campos complexos como a endoscopia, simplesmente tornar um computador mais inteligente ou dar a ele mais dados não é suficiente. O sistema precisa ser ensinado a olhar para a imagem da mesma forma que um médico faz: focando em problemas específicos e localizados e entendendo como eles se encaixam. Ao construir um mapa estruturado da doença antes de tentar escrever uma frase, o LUX preenche a lacuna entre ver uma imagem e entender o que ela significa. Esta abordagem oferece um caminho para uma inteligência artificial que não é apenas fluente, mas também confiável e transparente, fornecendo aos médicos uma ferramenta que pode explicar seu raciocínio tão claramente quanto descreve a condição do paciente.

Resumo Técnico: LUX – Uma Arquitetura de Visão-Linguagem Condicionada por Grafos e Consciente de Lesões para Legendamento Endoscópico Explicável

1. Definição do Problema

A interpretação de imagens endoscópicas para colite ulcerativa (CU) é um processo complexo e subjetivo, que depende fortemente da avaliação de padrões sutis de inflamação mucosa, padrões vasculares e distribuição de lesões. Embora o aprendizado profundo tenha avançado a análise automatizada, os modelos de visão-linguagem (VLM) existentes para legendamento de imagens médicas sofrem de limitações críticas:

Dependência de Embedding Global: A maioria dos modelos comprime padrões patológicos heterogêneos em um único embedding visual global. Essa abordagem negligencia a natureza localizada e relacional das evidências patológicas, levando a legendas que carecem de fundamentação ao nível da lesão.
Alucinação e Falta de Rastreabilidade: As descrições geradas frequentemente confundem achados distintos ou introduzem afirmações patológicas não suportadas (alucinações) porque a geração linguística não é explicitamente restringida por evidências visuais específicas.
Lacuna de Interpretabilidade: Os métodos atuais de explicabilidade (ex: Grad-CAM) fornecem visualizações post-hoc, mas não integram a interpretabilidade ao próprio processo de raciocínio. Clínicos requerem sistemas que associem achados localizados a descrições diagnósticas coerentes, e não apenas destaquem regiões de atenção difusas.
Especificidade de Domínio: Modelos de fundação de propósito geral (LLMs/VLMs) dependem fortemente de priors linguísticos em larga escala em vez de evidência patológica explícita, o que é insuficiente para o raciocínio matizado e baseado em evidências exigido na endoscopia gastrointestinal.

2. Metodologia

Os autores propõem o LUX (Lesion-aware Unified eXplainable captioning), um framework que reformula o legendamento endoscópico como um processo de raciocínio clínico fundamentado em evidências, em vez de uma tradução direta de imagem-para-texto. A arquitetura consiste em cinco componentes interativos:

A. Codificador Híbrido Visual (ResNet-50 + CBAM)

Backbone: Uma ResNet-50 inicializada com pesos do ImageNet, adaptada para imagens colonoscópicas.
Mecanismo de Atenção: Um Módulo de Atenção de Bloco Convolucional (CBAM) é integrado após cada estágio residual. Isso amplifica seletivamente padrões mucosos discriminativos (ex: atenuação vascular, ulceração) enquanto suprime informações de fundo irrelevantes.
Fusão Multiescala: Características de diferentes campos receptivos ( $conv3\_x, conv4\_x, conv5\_x$ ) são concatenadas e projetadas para garantir compatibilidade com o decodificador T5.

B. Construção do Grafo Cena-Lesão

Localização de Lesões: Regiões patológicas candidatas são localizadas usando mapas de ativação Grad-CAM, regularizados durante o treinamento por uma perda baseada em Dice contra máscaras de lesão anotadas manualmente (de um subconjunto do dataset LIMUC).
Formação do Grafo: Regiões localizadas são abstraídas em nós de grafo ( $x_i$ ). As arestas ( $w_{ij}$ ) codificam tanto a proximidade espacial (distância euclidiana entre centroides) quanto a similaridade semântica (similaridade de cosseno das embeddings dos nós).
Raciocínio Relacional: Uma Rede Neural Convolucional de Grafos (GCN) propaga informações contextuais através de lesões conectadas, capturando interações como a coocorrência de ulceração e sangramento. Um descritor de grafo global é obtido via attention pooling.

C. Legendamento Consciente de Lesões (Decodificador T5 + Atenção Cruzada Dupla)

Atenção Cruzada Dupla: O decodificador T5 emprega um mecanismo de atenção dupla onde cada token gerado atende conjuntamente às características visuais globais e às embeddings do grafo de lesões.
Portão Dinâmico (Dynamic Gating): Um parâmetro de portão aprendível ( $\gamma_t$ ) equilibra dinamicamente a influência do contexto visual e do raciocínio centrado na lesão em cada etapa de decodificação.
Alinhamento Token-para-Lesão: Uma matriz de alinhamento explícita ( $M_{tok-les}$ ) é computada para quantificar a contribuição de nós de lesão específicos para cada token gerado, garantindo a rastreabilidade entre linguagem e evidência patológica.

D. Formatação Linguística

Um módulo de pós-processamento leve e determinístico padroniza a saída. Ele mapeia os tokens gerados para um vocabulário clínico curado (ex: descritores UCEIS), impõe consistência gramatical e reordena os achados para seguir uma estrutura narrativa clínica de "evidência primeiro" (aparência da mucosa $\to$ padrão vascular $\to$ lesões $\to$ sangramento).

E. Explicabilidade

O sistema fornece explicações ao nível de pixel via mapas de calor Grad-CAM e atribuição de token para lesão, vinculando cada palavra gerada a regiões patológicas específicas.

Estratégia de Treinamento
O framework utiliza uma abordagem de dois conjuntos de dados:

UC-Caption: Um conjunto de dados curado de 500 imagens com legendas escritas por especialistas e rótulos MES, usado para o legendamento supervisionado.
LIMUC: Um conjunto de dados de larga escala (11.276 imagens) com rótulos MES, mas sem legendas. É utilizado para pré-treinar o codificador visual e o GCN, e para o aumento de pseudo-legendas semisupervisionado. Um subconjunto anotado manualmente (400 imagens) fornece supervisão ao nível da lesão para o ramo de localização.

3. Principais Contribuições

Arquitetura Condicionada por Grafos e Consciente de Lesões: Um framework inovador que integra evidência patológica localizada diretamente no processo de geração de legendas via um grafo cena-lesão.
Grafo Cena-Lesão Estruturado: Uma representação que modela relações espaciais e semânticas entre achados inflamatórios, indo além da detecção isolada de lesões para o raciocínio relacional.
Mecanismo de Atenção Cruzada Dupla: Uma estratégia de decodificação que permite o fundamento (grounding) ao nível do token, permitindo que a linguagem gerada atenda explicitamente às representações de nível de lesão.
Formulação Baseada em Evidências: A formulação do legendamento endoscópico como um problema de raciocínio multimodal restrito pela evidência visual, reduzindo a dependência de priors linguísticos.
Avaliação Abrangente: Um benchmark unificado comparando o LUX contra modelos orientados à classificação, baselines de legendamento padrão e VLMs de estado da arte (ex: Qwen2-VL, LLaVA-Med).

4. Resultados Experimentais

Avaliado no conjunto de teste UC-Caption e validado no dataset LIMUC, o LUX demonstrou desempenho superior em múltiplas métricas:

Qualidade da Legenda: O LUX superou todos os baselines, alcançando um score CIDEr de 0,92 (vs. 0,79 para o baseline mais forte) e um score SPICE de 0,25 (vs. 0,19). Os ganhos significativos no SPICE indicam melhoria na correção semântica relacional e de cena.
Redução de Alucinação: O LUX reduziu a taxa de alucinação para 5,3%, uma redução relativa de 44% em comparação com o baseline de fundação VLM mais forte (Qwen2-VL com 9,4%).
Consistência Clínica: O modelo manteve alta precisão na classificação do Mayo Endoscopic Subscore (MES) (84,7%) enquanto gerava descrições clinicamente fiéis.
Estudos de Ablação: A remoção do grafo de lesão ou do mecanismo de atenção cruzada dupla resultou na degradação de desempenho mais significativa, confirmando que o raciocínio relacional no nível do decodificador é o principal motor da fidelidade clínica.
Avaliação Humana: Revisores especialistas avaliaram o LUX positivamente para correção clínica (4,4/5), especificidade de lesão (4,6/5) e evitar alucinações (4,7/5), observando sua capacidade de descrever atenuação vascular, friabilidade e ulceração com precisão, sem inflação de gravidade não suportada.

5. Significância e Alegações

O artigo alega que o LUX oferece um passo transparente e clinicamente significativo em direção à IA explicável para endoscopia gastrointestinal. Sua principal significância reside em demonstrar que o fundamento (grounding) explícito ao nível da lesão e o raciocínio relacional estruturado fornecem benefícios complementares à escala do modelo.

Além da Escala: Os autores argumentam que, em domínios clínicos especializados com dados anotados limitados, os vieses indutivos arquiteturais (localização de lesão, codificação de grafo) são mais eficazes para garantir a confiabilidade clínica do que simplesmente aumentar a escala de modelos de fundação.
Raciocínio Rastreável: Diferente da explicabilidade post-hoc, o LUX integra a interpretabilidade no processo de geração, garantindo que cada afirmação clínica esteja diretamente alinhada com a evidência patológica localizada.
Utilidade Clínica: Ao reduzir alucinações e melhorar a correspondência entre o texto gerado e os achados visuais, o LUX aborda uma barreira crítica para a implementação de IA em fluxos de trabalho clínicos, oferecendo uma ferramenta de suporte à decisão confiável para a avaliação da colite ulcerativa.

Os autores concluem que, embora os modelos de fundação se destaquem na fluência linguística, eles carecem dos mecanismos explícitos para associar achados textuais a evidências localizadas. O LUX preenche essa lacuna, fornecendo um caminho principiado para uma IA multimodal baseada em evidências que é tanto precisa quanto interpretável.