Understanding Human AI Discrepancy in Breast Cancer TIL Assessment: A Multi-Rater and Perceptual Bias Study

Resumo Técnico: Compreendendo a Discrepância Humano-IA na Avaliação de TILs em Câncer de Mama

Definição do Problema
Os linfócitos infiltrantes de tumor (TILs) no câncer de mama, particularmente nos subtipos triplo-negativo e HER2-positivo, servem como biomarcadores prognósticos e preditivos críticos. Apesar da existência das diretrizes do International TILs Working Group, a avaliação de TILs permanece sujeita a uma substancial variabilidade interobservador devido à subjetividade inerente da estimativa visual, à heterogeneidade na distribuição de linfócitos e aos vieses perceptivos. Embora a Inteligência Artificial (IA) tenha sido proposta para padronizar esse processo, estudos anteriores focaram amplamente na precisão do modelo em relação às anotações de referência, em vez de comparar diretamente o acordo entre múltiplos observadores humanos e modelos de IA em regiões idênticas. Além disso, as fontes específicas de discrepância entre a estimativa visual humana e a quantificação algorítmica permanecem subinvestigadas.

Metodologia
O estudo empregou um design multi-avaliador e multi-modelo envolvendo 184 casos de câncer de mama (186 casos de 179 pacientes) e 416 regiões de interesse (ROIs) estromais anotadas manualmente.

• Avaliação Humana: Três patologistas (um especialista, um residente sênior e um residente júnior) avaliaram independentemente as ROIs para estimar as porcentagens de TILs estromais e as proporções de área tumoral estromal de acordo com as diretrizes padrão.
• Avaliação de IA: Dois pipelines distintos de IA foram aplicados às mesmas ROIs sem ajuste fino local (treinados exclusivamente em conjuntos de dados públicos):
  1. Pipeline YOLO: Utilizou U-Net para segmentação estromal e YOLO-v8 para detecção de linfócitos.
  2. Pipeline HoVer-NeXt: Utilizou U-Net para segmentação estromal e HoVer-NeXt (um modelo de segmentação de instância) para detecção de linfócitos.
• Análise Estatística: O acordo foi quantificado usando Coeficientes de Correlação Intraclasse (ICC), Coeficientes de Correlação de Concordância (CCC), correlações de Spearman e Pearson, e estatísticas Kappa (Cohen's e Fleiss') tanto para escores contínuos quanto categóricos (dicotomizados e de múltiplos níveis). A análise de Bland–Altman foi utilizada para avaliar o viés.
• Estudo de Viés Perceptivo: Para isolar as limitações cognitivas humanas, um experimento complementar foi conduzido utilizando imagens sintéticas em preto e branco que mimetizavam distribuições de linfócitos. Dez patologistas estimaram a porcentagem de área branca nessas imagens contra verdades fundamentais (ground truths) conhecidas para medir o erro inerente de estimativa visual.

Resultos Principais

• Acordo Interpatologista: Observou-se alto acordo entre os avaliadores humanos, com um ICC global de 0,81 (IC 95% 0,76–0,84) e fortes correlações pareadas (ρ = 0,82–0,85). O acordo categórico (Kappa de Fleiss) foi moderado (0,50–0,58).
• Acordo Humano–IA: O acordo entre os patologistas e os modelos de IA foi significativamente menor. O ICC global para todos os cinco avaliadores (3 humanos + 2 IAs) foi de 0,41. Os ICCs pareados entre patologistas individuais e modelos de IA variaram de 0,10 a 0,21.
• Desempenho do Modelo: O modelo HoVer-NeXt demonstrou melhor alinhamento com os patologistas (ICC ~0,21) em comparação ao modelo YOLO (ICC ~0,10–0,16). No entanto, ambos os modelos de IA exibiram um viés negativo sistemático, subestimando consistentemente os escores de TILs em aproximadamente 15% em relação aos patologistas, com a discrepância aumentando em escores de TILs mais elevados.
• Correlação vs. Acordo: Embora o acordo absoluto tenha sido baixo, as correlações de Spearman entre patologistas e IA foram moderadas a boas (ρ = 0,48–0,81), indicando que os modelos de IA conseguem classificar os casos relativamente bem, mas falham em corresponder aos valores absoltos de pontuação.
• Achados de Viés Perceptivo: O estudo de imagens sintéticas revelou que as estimativas dos patologistas para as porcentagens de área branca apresentaram baixo a moderado acordo com a verdade fundamental (ICC 0,16–0,57). Isso sugere que a estimativa visual humana de objetos dispersos é inerentemente propensa a erros, contribuindo significativamente para a observada discrepância humano–IA.

Significância e Alegações
O artigo afirma que a discrepância entre a pontuação de TILs humana e de IA não é atribuível apenas às limitações algorítmicas, mas também é impulsionada por vieses perceptivos e cognitivos intrínsecos da estimativa visual humana. O estudo demonstra que, embora patologistas experientes alcancem alta consistência interna, sua estimativa visual de padrões celulares dispersos está sujeita a erros, uma limitação que os modelos de IA baseados em pixels contornam.

Os autores concluem que os modelos de IA atuais, mesmo sendo tecnicamente precisos em segmentação e detecção, ainda não alcançam o acordo absoluto necessário para implementação clínica autônoma. Eles enfatizam que a futura integração da IA deve focar em:

1. Padronização: Treinar em conjuntos de dados maiores e mais diversos para melhorar a generalização.
2. Calibração Perceptiva: Desenvolver estratégias para alinhar os resultados da IA com as tendências visuais humanas, em vez de tratar os escores humanos como a única verdade fundamental.
3. Suporte à Decisão: Posicionar a IA como uma ferramenta para reduzir a variabilidade do observador e aumentar a padronização, em vez de um substituto direto para a pontuação do patologista em sua forma atual.

O estudo ressalta a necessidade de uma compreensão realista da dinâmica humano–IA, sugerindo que o "padrão-ouro" na avaliação de TILs pode precisar ser reavaliado considerando as restrições cognitivas dos observadores humanos.